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1 

Inleiding 


In opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is door de 
Technische Universiteit Delft (TUD) een onderzoek uitgevoerd. Het ministerie van BZK heeft deze 
opdracht gegeven in het kader van de uitvoering van het kabinetsstandpunt over de 
aanbevelingen van de commissie 'Onderzoek elektronisch stemmen in het stemlokaal' (Van Beek). 
Het ministerie van BZK heeft aan de TUD opdracht gegeven om een onderzoek uit te voeren om 
na te gaan of de aanname(s) van de commissie Van Beek juist is dat het stemmen door gebruik te 
maken van een stemprinter toegankelijker wordt voor de kiezers. In het bijzonder voor kiezers met 
een beperking waarvoor het met de stemprinter mogelijk zou kunnen zijn om zelfstandig te 
stemmen. 


1.1 Achtergrond 

Het ministerie van BZK is thans bezig om uitvoering te geven aan het kabinetsstandpunt over het 
advies van de commissie Van Beek. Een van de aspecten die daarbij aan de orde is betreft de 
wijze waarop de kiezer zelfstandig met de stemprinter zou moeten stemmen. Op dit punt bevat 
het kabinetstandpunt de volgende passage: "Het kabinet is van mening dat kiezers zoveel 
mogelijk zelfstandig hun stem moeten kunnen uitbrengen. Het stemmen met een stemprinter 
kan de toegankelijkheid vergroten met name voor kiezers met een visuele beperking. Het gebruik 
van logo's en/of foto's (van kandidaten) kan het ook voor andere kiezers makkelijker maken om 
te stemmen. In welke mate de toegankelijkheid wordt vergroot zal moeten blijken uit testen en 
in experimenten." 

De commissie Van Beek heeft geadviseerd om in ieder geval over te gaan tot de invoering van 
elektronisch tellen. Zij meent daarnaast dat het wenselijk is om een stemprinter te introduceren. 
Het elektronisch maken van de keuze voor een verkiezing met behulp van de stemprinter biedt 
volgens de commissie belangrijke voordelen (ten opzichte van het huidige proces), omdat het 
toegankelijker is voor mensen met een beperking. De stemprinter biedt volgens de commissie 
namelijk mogelijkheden om kiezers met een beperking (met name kiezers met een visuele 
beperking) in staat te stellen om zelfstandig hun stem uit te brengen en vergroot de kans voor 
alle kiezers dat hun stem wordt vastgelegd zoals zij beogen. Alle kiezers krijgen namelijk 
terugkoppeling voordat de gemaakt keuze wordt geprint. 
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1.1 Onderzoek 


Om de opdracht van het ministerie van BZK uit te voeren en een test te kunnen houden waarmee 
een simulatie van een stemprinter gebruikt zou kunnen worden is het noodzakelijk om een 
interactie te ontwerpen waarmee de kiezer met de stemprinter keuzes kan maken en een 
stembiljet kan printer. Onderdeel van de opdracht die TUD van het ministerie van BZK heeft 
gekregen is dat de onderzochte interacties moeten worden beschreven waarbij de 
ontwerpkeuzes moeten zijn onderbouwd. De reden daarvoor is dat het ministerie van BZK de 
uitkomsten van dit onderzoek wil kunnen benutten, indien het kabinet zou besluiten tot de 
invoering van de stemprinter, om de eisen voor de stemprinter te specificeren. 

Om het ministerie van BZK in staat te stellen een test met de simulatie van een stemprinter uit te 
voeren heeft de TUD een opzet voor die test ontwikkeld, waarin proefpersonen uit verschillende 
doelgroepen op een gesimuleerde stemprinter een aantal keuzes maken en die keuzes printen. 
Deze organisatie en uitvoering van de test zelf is in opdracht van BZK door een externe partij 
uitgevoerd. De voor de test benodigde proefopstellingen met de simulatie van de stemprinter 
zijn in opdracht van het ministerie van BZK door een externe partij gerealiseerd. De resultaten 
van de test zijn door de TUD geanalyseerd. 

Het ministerie van BZK heeft bij het geven van de opdracht aan de TUD gevraagd om nauw 
betrokken te zijn bij de uitvoering van het onderzoek. De reden daarvoor was dat het kabinet het 
voornemen had voor eind 2014 een besluit te nemen over de haalbaarheid van de aanbevelingen 
die zijn gedaan door de commissie Van Beek. 


1.2 Doelstelling en onderzoeksvragen 

Het doel van het onderzoek is na te gaan of de aanname(s) van de commissie Van Beek juist is 
dat het stemmen door gebruik te maken van een stemprinter toegankelijker wordt voor de 
kiezers. In het bijzonder voor kiezers met een beperking waarvoor het met de stemprinter 
mogelijk zou kunnen zijn om zelfstandig te stemmen. 

Op basis van deze doelstelling heeft de TU twee onderzoeksvragen geformuleerd, te weten: 

1. Is de voorgestelde stemmethode met gebruikmaking van een stemprinter toegankelijker 
voor mensen met een beperking. Zijn meer kiesgerechtigden in staat om zelfstandig te 
stemmen? 

2. Is de voorgestelde stemmethode met gebruikmaking van een stemprinter toegankelijk voor 
de huidige kiezer? 

Op basis van het uiteindelijk ontwerp van de simulatie van de stemprinter zijn deze algemene 
onderzoeksvragen aangevuld met ondersteunende onderzoeksvragen (zie 4.1) 


1.3 Afbakening 

Het onderzoek beperkt zich tot de interactie van de kiezer met de stemprinter bij het maken van 
een keuze voor een verkiezing en het printen van het stembiljet. De commissie Van Beek heeft 
voorstellen gedaan (waaronder het activeren doordat de kiezer zelf het papier voor het 
stembiljet invoert in de stemprinter) voor de wijze waarop de stemprinter geactiveerd zou 
moeten worden. De commissie heeft daarbij aangegeven dat daarvoor meerdere opties zijn die 
verder uitgewerkt zouden moeten worden. Gelet daarop is in dit onderzoek de activering buiten 
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beschouwing gebleven. Dat geldt ook voor andere aspecten zoals de kwaliteit van het papier van 
het stembiljet. Andere aspecten waar in dit onderzoek niet naar is gekeken betreft bijvoorbeeld 
het in meerdere talen vermelden van teksten. 


1.4 Uitgangspunten 

De door de commissie Van Beek 1 geformuleerde aanbevelingen ten aanzien van de stemprinter 
zijn als uitgangspunt gehanteerd voor dit onderzoek. Waar de commissie Van Beek geen 
aanbevelingen over heeft gedaan, dan wel de aanbevelingen algemeen waren geformuleerd zijn 
er waar nodig, in overleg met het ministerie van BZK, (aanvullende) uitgangspunten 
geformuleerd. 


Aanbevelingen van de Commissie van Beek 

1. De stemprinter moet gefaseerd stemmen mogelijk maken. Daarbij maakt de kiezer eerst een 
keuze voor een lijst en daarna voor een kandidaat. 

Er wordt uitgegaan van maximaal 80 kandidaten per lijst, dit conform de huidige wet- en 
regelgeving. De wet- en regelgeving kent geen maximum voor het aantal lijsten dat mee mag 
doen aan een verkiezing. Voor het ontwerp van de simulatie is in dit onderzoek uitgegaan 
van maximaal 40 lijsten. 

2. De stemprinter voorziet in een intuïtieve en eenvoudige dialoog met de kiezer, waarbij de 
kiezer de gemaakte keuze moet bevestigen om de keuze te laten printen op een stembiljet. 

3. Op elk moment in het proces, tot het moment van het afdrukken van het stembiljet, moet 
een kiezer kunnen terugkeren naar de vorige stap of naar het begin. 

4. De interactie van de gebruiker met de stemprinter moet geoptimaliseerd worden voor 
verschillende groepen kiezers (met en zonder beperking). 

5. Er dient bij voorkeur gebruik gemaakt te worden van logo's van politieke partijen en foto's 
van kandidaten. Logo's en foto's kunnen een ondersteuning zijn voor laaggeletterden kiezers 
en kiezers met een licht verstandelijke beperking. 

6. De stemprinter dient voorzien te zijn van tactiele knoppen. 

7. De informatie die op het geprinte stembiljet moet staan dient eenvoudig te begrijpen te zijn, 
alleen essentiële gegevens bevatten en goed leesbaar zijn (duidelijke print en voldoende 
groot lettertype). Qua formaat A5 (briefkaart) of boardingpassformaat geschikt. 

8. De stemprinter wordt voorzien van audio-ondersteuning zodat de terugkoppeling 
desgewenst auditief plaatsvindt. Audio kan worden toegepast als ondersteuning bij visuele 
informatie of als enige terugkoppeling voor bijvoorbeeld blinden. 

9. De kiezer kan het stembiljet controleren. Deze stap is ingebouwd om de transparantie en 
controleerbaarheid te waarborgen. 


1 

Commissie onderzoek elektronisch stemmen in het stemlokaal. Elke stem telt/ Elektronisch stemmen en 
tellen (Van Beek, 2013). 
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Aanvullende uitgangspunten 


10. In het geval van meervoudige verkiezingen (dat wil zeggen dat op één dag meerdere 
verkiezingen worden gehouden) moet de kiezer kunnen bepalen in welke volgorde hij een 
keuze maakt voor de verkiezingen. De kiezer kan nu met het papieren stembiljet ook zelf de 
volgorde bepalen. 

11. De wet schrijft voor dat de kiezer ook een blanco stem moet kunnen uitbrengen. Op het 
huidige papieren stembiljet stemt de kiezer blanco doordat er niets wordt ingevuld op het 
stembiljet. In geval een stemprinter wordt gebruikt voor het maken van de keuze en het 
printen van het stembiljet moet de kiezer de optie hebben om de keuze "blanco" te kiezen 
en moet die keuze op het stembiljet worden geprint. 

12. Het verdient de voorkeur om de lijsten waarvoor een keuze kan worden gemaakt op één 
scherm te tonen. Daarmee heeft de kiezer met één oogopslag overzicht over de politieke 
groeperingen die aan de verkiezing meedoen. 

13. De kandidaten van een lijst kunnen op meerdere schermafbeeldingen getoond worden. 

14. De stemprinter moet kunnen omgaan met meervoudige verkiezingen. De wet- en 
regelgeving kent geen maximum aan het aantal verkiezingen dat tegelijkertijd kan 
plaatsvinden. Voor dit onderzoek is uitgegaan van een simulatie van de stemprinter 
waarmee 5 verkiezingen tegelijkertijd kunnen worden ondersteund. 

15. In de wet- en regelgeving is bepaald dat een kiezer, naast zijn eigen stem, maximaal 2 
voorkeurstemmen moet kunnen uitbrengen. 

16. Printen van het stembiljet nadat een keuze is gemaakt en bevestigd en niet de stembiljetten 
in één keer printen nadat voor alle verkiezingen een keuze is gemaakt en die keuzes zijn 
bevestigd. Dit biedt de kiezer de mogelijkheid om het stembiljet te controleren gelijk nadat 
hij voor de betreffende verkiezing zijn keuze heeft gemaakt. 

17. Het gebruik van een grafisch scherm met een diagonaal tot 24 inch is mogelijk. De aanname 
daarbij is dat het gebruik van een scherm van deze omvang mogelijk zal zijn indien de 
stemprinter moet voldoen aan de door de commissie Van Beek aanbevolen NATO norm 
SDIP-27/1. 

18. Voor dit onderzoek is gebruik gemaakt van een grafisch scherm met aanraak technologie 
(touchscreen). De aanname daarbij is geweest dat het gebruik van een scherm van deze 
omvang mogelijk zal zijn indien de stemprinter moet voldoen aan de door de commissie Van 
Beek aanbevolen NATO norm SDIP-27/1. 


1.5 Opbouw rapport 


In hoofdstuk 2 worden de verschillende groepen gebruikers beschreven voor het gebruik van het 
huidige stembiljet en de simulatie van een stemprinter. Op basis hiervan zijn 4 interacties 
bepaald die de basis vormen van de simulatie van de stemprinter. 

Hoofdstuk 3 behandelt het ontwerp van de 4 verschillende gebruiker-stemprinter interacties. 
Eerst wordt ingegaan op het keuzeproces dat een gebruiker van de simulatie doorloopt. 
Vervolgens worden de ontwerpen van de 4 interacties beschreven en onderbouwd. 
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In hoofdstuk 4 wordt de testopzet voor de test met de simulatie van de stemprinter beschreven. 
Achtereenvolgens komen aan bod; de doelstelling, de proefpersonen, de proefopstelling, de 
werkwijze, het testprotocol en het toetsingskader. 

In hoofdstuk 5 worden de resultaten van de test met de simulatie van de stemprinter door groep 
A beschreven en geanalyseerd. 

In hoofdstuk 6 worden de resultaten van de test met de simulatie van de stemprinter door de 
verschillende groepen B beschreven en geanalyseerd. 

In hoofdstuk 7 worden conclusies getrokken op basis van de resultaten in de hoofdstukken 5 en 6. 
Daarnaast worden de verschillende interacties geëvalueerd, het onderzoek bediscussieerd en 
worden aanbevelingen gedaan voor verder onderzoek en ontwikkeling. Tenslotte worden de 
onderzoeksvragen beantwoord. 


11 





12 




2 

Analyse van stemprinter 

interacties 


Een toegankelijke stemprinter maakt dat alle mensen die willen stemmen de stemprinter kunnen 
bereiken en gebruiken. De gebruiksvriendelijkheid van de stemprinter bepaalt in hoge mate de 
toegankelijkheid. 

De algemeen gebruikte definitie van gebruiksvriendelijkheid is (ISO 9241 * 2 ): 

"In welke mate een product, door specifieke gebruikers, in een specifieke gebruikscontext 
gebruikt kan worden om een specifiek doel te bereiken op een effectieve, efficiënte en 
bevredigende manier." 

De verschillende groepen gebruikers zijn in dit hoofdstuk aan de hand van deze definitie 
beschreven voor het gebruik van de simulatie van een stemprinter. Op basis hiervan zijn 4 
interacties bepaald voor de simulatie van de stemprinter. 

Om tot gebruiker-stemprinter interacties te kunnen komen heeft TUD advies ingewonnen bij: 

• dr.ir. Johan Molenbroek, universitair hoofddocent ergonomie, TUD, specialist op het 
gebied van ergonomie en ontwerpen voor mensen met een functiebeperking. 


2.1 Gebruiksvriendelijkheid 


De gebruiksvriendelijkheid van de simulatie van de stemprinter wordt bepaald door de volgende 
aspecten: 

• Het waarnemen en handelen: de fysieke mogelijkheid van de gebruiker de stemprinter 
effectief en efficiënt (kan de gebruiker de gewenste keuzes binnen een redelijke 
aanvaardbare tijd en zonder extra inspanning selecteren 3 ) te bedienen. 

• Het begrijpen: de cognitieve mogelijkheid van de gebruiker de gewenste keuzes effectief 
en efficiënt te maken (begrijpt de gebruiker welke knop, op welke manier, moet worden 
geselecteerd binnen een redelijk aanvaardbare tijd en zonder extra inspanning). 

• De beleving van de gebruiker (is het makkelijk om de stemprinter te gebruiken). 


ISO, "ISO 9241 Ergonomics of human-system interaction," in Part 210: Human-centred design for 

interactive systems (formerly known as 13407). ed. Switzerland: ISO, 2010. 

3 

Snelheid en inspanning bepalen de efficiency, een maat voor gebruiksvriendelijkheid (zie ISO definitie) 
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Om met een stemprinter een keuze te kunnen maken en die keuze ook op een stembiljet te 
kunnen printen is niet alleen de gebruikersvriendelijkheid van de interactie bepalend. Er zijn 
andere factoren die daarvan invloed op kunnen zijn. Voorbeelden hiervan zijn: 

• Is er informatie vooraf gegeven (kon de gebruiker zich voorbereiden). 

• Is de omgeving prettig (raakt de gebruiker niet gespannen door bijvoorbeeld het gedrag 
van andere aanwezigen). 

• Is er voldoende verlichting. 

• Staat de stemprinter op een goede hoogte. 

Dit onderzoek richt zich alleen op de interacties. De omgeving waar een stemprinter in gebruikt 
zou moeten worden, de stemlokalen, zijn allemaal verschillend. De wijze waarop de stemprinter 
mogelijk wordt ingevoerd en de voorlichting die daarover zal worden gegeven staat buiten dit 
onderzoek, omdat een besluit daaromtrent nog moet worden genomen. 

De gebruikers van de stemprinter zijn onder te verdelen naar hun fysieke en cognitieve 
mogelijkheden (waarnemen, handelen, begrijpen). Op basis van deze gebruikerskenmerken is 
het mogelijk een verband te leggen tussen de eigenschappen van de stemprinter en de 
gebruikers. Zo is een inschatting te maken welke gebruikers, voor wie het stemmen nu niet 
toegankelijk is, wel met de stemprinter zelfstandig kunnen stemmen. In de volgende paragraaf 
wordt het verband tussen gebruikers met beperkingen en het gebruik van de stemprinter verder 
uitgewerkt. 


2.2 Gebruikers met een beperking 


Voor bepaalde lichamelijke of verstandelijke beperkingen kan een inschatting gemaakt worden 
van de problemen die mogelijk optreden bij het gebruik van de simulatie van de stemprinter. 
Met een lichamelijke of verstandelijke beperking wordt bedoeld dat mensen als gevolg van 
gezondheidsproblemen moeite hebben met het uitvoeren van dagelijkse handelingen 4 . 

Voor het gebruik van de stemprinter zijn de volgende gebruikers met een beperking relevant: 

• Blinden: kunnen niet visueel waarnemen 

• Slechtzienden: beperking in het visueel waarnemen 

• Mensen met een licht verstandelijke beperking: beperking bij het begrijpen 

• Mensen met een motorische beperking: beperking bij het handelen 

Naast deze groepen zijn ook gebruikers die problemen hebben met het begrijpen van (tekstuele) 
informatie relevant. De laaggeletterden vertegenwoordigen deze groep. 

Een globale omvang van de groep mensen met beperkingen waardoor ze nu (met potlood en 
papier) niet zelfstandig een stem uit kunnen brengen wordt geschat op 1 miljoen 5 . 

De globale omvang van de verschillende groepen mensen met beperkingen, alle leeftijden en 
inclusief die mensen die wel in staat zijn zelfstandig met het papier en potlood een stem uit te 
brengen, is weergegeven in tabel l 6 . 


4 

Definitie in Factsheet 'Mensen met lichamelijke of verstandelijke beperkingen'. Sociaal en Cultureel 
Planbureau, 2012 

5 Commissie onderzoek elektronisch stemmen in het stemlokaal. Elke stem telt/ Elektronisch stemmen en 
tellen (Van Beek 2013). 

6 Factsheet 'Mensen met lichamelijke of verstandelijke beperkingen'. Sociaal en Cultureel Planbureau, 2012 
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Blinden 

Circa 76.000 mensen 

Slechtzienden 

Circa 220.000 mensen 

Mensen met een licht verstandelijke beperking 

Circa 110.000 mensen 

Mensen met een motorische beperking 

Licht: circa 1.610.000 mensen 

Matig: circa 1.005.000 mensen 

Ernstig: circa 415.000 mensen 

Laaggeletterden 7 

Circa 1.300.000 mensen 


Tabel 1 Aantallen mensen in Nederland per specifieke groep. 


De aantallen personen die vermeld zijn in tabel 1 hebben betrekking op de aanwezigheid van een 
beperking onder alle leeftijden en geven geen inzicht in hoeveel mensen door hun beperking nu 
niet zelfstandig kunnen stemmen. Ter illustratie: het aantal personen met een motorische 
beperking heeft betrekking op alle mogelijke vormen van motorische aandoeningen dus ook op 
beperkingen aan het bewegingsapparaat (loopvermogen). Dergelijke beperkingen zijn uiteraard 
niet van invloed op het zelfstandig kunnen maken van een keuze met een stemprinter en het 
printen van een stembiljet. 


In het volgende overzicht wordt per gebruikersgroep ingegaan op de specifieke problemen bij 
het uitbrengen van een stem: 


Blinden 

Maatschappelijk blind: visus 
minder dan 0,05 
en/ of 

gezichtsveld kleiner dan 10 graden 
en/of alleen verschil tussen licht 

en donker zien. 

Kunnen geen keuze maken aan de hand van visuele 
informatie. Kunnen niet controleren of ze de juiste 
handeling doen of hebben gedaan aan de hand van 
visuele informatie. Zijn afhankelijk van waarnemen via 
gehoor en tast. 

In andere landen worden aan blinden (en ook 
slechtzienden) hulmiddelen aangeboden, zoals een mal, 
om zelfstandig met een papieren stembiljet te stemmen. 

Het formaat van het huidige Nederlandse stembiljet 
maakt het gebruiken van een mal effectief niet mogelijk. 8 . 

Slechtzienden 

Kunnen alleen keuze maken aan de hand van visuele 

informatie wanneer de informatie wordt gegeven in een 

visus tussen de 0,05 en 0,3 

vorm die is aangepast aan de specifieke vorm van 

of 

slechtziendheid (tekengrootte, contrast, kleur, 

gezichtsveld tussen 10 en 30 

stramien/overzicht). Waarnemen via gehoor en tast 

graden 

kunnen een goed alternatief zijn. 9 

Kunnen in sommige gevallen met behulp van een loep of 
mal zelfstandig een stem uitbrengen met papier en 
potlood. 

Mensen met een licht 

Kunnen informatie over de te maken keuze en de 

verstandelijke beperking 

gewenste handelingen om de keuze te maken moeilijker 
begrijpen. Wanneer de informatie overzichtelijk wordt 

IQtussen 50 en 70 punten 

aangeboden (plaatjes, weinig tekst, geen voor hen 
moeilijke en/of lange woorden, stapsgewijs, logisch en 


7 Stichting Lezen & Schrijven, 2014 
S TK 2013-2014, 31 142 nr 37 

9 

John Gill, Keeping Step? Scientific and technological research for visually impaired people, RNIB, 2001 
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vooraf te oefenen) biedt dat ondersteuning. Belangrijk 
aspect is hier ook het vertrouwen in eigen kunnen. 10 

Kunnen in sommige gevallen (na oefenen) zelfstandig een 
stem uitbrengen met papieren potlood. 

Mensen met een motorische 
beperking 

Hebben moeite met het uitvoeren van de handelingen 
(reiken, vasthouden, bedienen, handelingen stembiljet 
zoals beetpakken en vouwen). Hebben baat bij 
handelingen waar geen kracht en precisie zijn vereist. 
Kunnen in sommige gevallen met behulp van een 
hulpmiddel als een mal zelfstandig een stem uitbrengen 
met papier en potlood. 

Laaggeletterden 

taalniveau lager dan 2F 

Kunnen informatie in de vorm van (geschreven) tekst 
moeilijker begrijpen. Korte woorden (met herkenbaar 
woordbeeld), plaatjes, stapsgewijze keuze, logische en 
vooraf te oefenen handelingen biedt ondersteuning. 
Belangrijk aspect is hier ook het vertrouwen in eigen 

kunnen . 

Kunnen in sommige gevallen (na oefenen) zelfstandig een 
stem uitbrengen met papieren potlood. 12 


Tabel 2 Specifieke problemen bij het uitbrengen van een stem per gebruikersgroep. 


2.3 Van gebruikers naar interacties 


Rekening houdende met de beperkingen van deze groepen mensen, zijn 4 interacties bepaald die 
de basis vormen van de simulatie van de stemprinter. Elke interactie is ontworpen voor een 
specifieke beperking in het waarnemen, begrijpen of handelen. De bediening en feedback 
verschilt per interactie, de uitkomst is bij allen hetzelfde: een stembiljet uit de printer. 

De bediening van verkrijgbare stemprinters of stemcomputers gebeurt op verschillende 
manieren. Zo worden er tactiele knoppen gebruikt, maar ook aanraakgevoelige schermen 
(touchscreens). Ook andere apparaten waar veel mensen gebruik vallen in dezelfde categorie, 
zoals kaart- en pinautomaten. 

Een belangrijk uitgangspunt voor de interacties is het Design for all 13 principe. Dit wil zeggen dat 
het ontwerp zoveel mogelijk moet voldoen aan de behoeften van alle gebruikersgroepen. Dit kan 
het aantal verschillende interacties beperken. Zo hebben bijvoorbeeld niet alleen slechtzienden 
baat bij grotere tekst en knoppen, maar ook mensen die kleine letters wel kunnen lezen. Deze 
laatste groep hoeft dan bijvoorbeeld minder moeite te doen om iets te lezen. 


10 

M. Zoon, Kenmerken en oorzaken van een licht verstandelijke beperking, 2012. Zie ook de websites: 
http://www.mee.nl/stemjijook, https://www.accessibility.nl/over-toegankelijkheid/handicaps/cognitieve- 
beperking 
11 

Overleg met Stichting Lezen & Schrijven, 2014. zie ook https://www.accessibility.nl/over- 
toegankelijkheid/handicaps/cognitieve-beperking 
12 

Zie test resultaten in: http://www.rijksoverheid.nl/documenten-en- 

publicaties/rapporten/2013/10/16/rapportage-van-ontwerpen-en-testen-van-stembiljetten.html 

13 

Design for All; Not Excluded by Design, Johan F.M. Molenbroek 
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Een van de middelen om verschillende groepen gebruikers te kunnen ondersteunen is een 
aanraakgevoelig scherm. Deze schermen worden steeds meer geïmplementeerd in apparaten die 
Nederlanders in het dagelijks leven gebruiken. Onder andere de introductie van smartphones en 
tablets hebben bijgedragen aan de bekendheid met het gebruik van deze technologie. 

Een aanraakgevoelig scherm geeft de mogelijkheid om alleen die knoppen weer te geven die op 
een bepaald moment van belang/nodig zijn. De grootte van de knop en de beschrijving op de 
knop kunnen per keer aangepast worden. Hierdoor kan de kans op verwarring over welke 
beschrijving bij welke (fysieke) knop hoort worden beperkt. Deze flexibiliteit van een 
aanraakgevoelig scherm is praktisch noodzakelijk om een goede scherm interactie te kunnen 
realiseren in de complexe Nederlandse context met veel lijsten en kandidaten. Daarnaast is de 
verwachting dat een bediening met een aanraakgevoelig scherm aanzienlijk sneller is dan de 
bediening met tactiele knoppen. 

Aanraakgevoelige schermen kennen ook een aantal nadelen ten opzichte van vormen van 
bedienen waarbij een duidelijker tactiele terugkoppeling is. De belangrijkste is de positionering 
van een vinger op de juiste knop op het scherm. Gebruikers kunnen niet voelen wanneer zij over 
de rand van de knop gaan en per ongeluk een andere optie selecteren. Ook vindt er via de vinger 
geen terugkoppeling plaats over wanneer de knop is ingedrukt. Deze nadelen zijn te 
minimaliseren door de knoppen groot genoeg te maken en daarbij directe grafische 
terugkoppeling te geven na het indrukken van een knop. Mensen met een erg droge huid kunnen 
moeite hebben om het scherm te bedienen, de geleiding van de huid is dan lager. Onder ouderen 
is deze groep het grootst. 

Op grond van bovenstaande heeft de toepassing van een aanraakgevoelig scherm de voorkeur 
boven het gebruik van alleen tactiele knoppen. Voor de kiezers die beperkingen hebben in het 
begrijpen is een auditieve ondersteuning gewenst. Kiezers met een beperking in het handelen die 
niet in staat zijn om het aanraakgevoelige scherm te bedienen, behoeven tactiele knoppen. Voor 
kiezers die niet visueel kunnen waarnemen is een volledig auditieve interactie noodzakelijk. 

Dit resulteert in de volgende 4 interacties: 

2.3.1 Interactie 1: Grafisch aanraakscherm 

Door middel van het aanraakscherm voert de gebruiker zijn keuzes in. Op het scherm loopt de 
gebruiker door een aantal keuzeschermen en print een stembiljet. Er komen geen andere in- of 
uitvoer apparaten aan te pas. Verwacht wordt dat de grootste groep kiezers, ook mensen met 
lichte beperkingen, overweg kan met deze interactie. 

2.3.2 Interactie 2 : Auditieve ondersteuning 

De auditieve ondersteuning bestaat uit hetzelfde grafische aanraakscherm als bij interactie 1 en 
een koptelefoon. Na het indrukken van een knop op het scherm wordt via de koptelefoon 
voorgelezen wat er is geselecteerd. Dit zorgt ervoor dat er geen misverstand kan ontstaan over 
hetgeen wat gekozen wordt op het aanraakscherm. Gebruikers kunnen met een grotere 
zekerheid een keuzes maken. De auditieve ondersteuning is voor diegenen die moeite hebben 
om visuele informatie te kunnen zien of het proces te kunnen begrijpen. Dit zijn onder andere 
laaggeletterden, licht verstandelijk gehandicapten en een deel van de slechtzienden. 

2.3.3 Interactie 3: Tactiele knoppen 

De interactie met tactiele knoppen bestaat uit hetzelfde grafische aanraakscherm als bij 
interactie 1 en een knoppenpaneel. Er wordt geen gebruik gemaakt van het aanraakdeel van het 
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scherm. De interface wordt bediend met het knoppenpaneel. De terugkoppeling vindt wél plaats 
via het grafische scherm. 

De bediening met de tactiele knoppen kan een oplossing zijn voor mensen die moeite hebben om 
hun vinger goed te positioneren op het aanraakscherm of niet ver genoeg kunnen reiken. 

2.3.4 Interactie 4: Auditieve interactie 

De auditieve interactie maakt alleen gebruik van tactiele knoppen en een koptelefoon. Het 
scherm laat niets zien. 

De auditieve interactie is ontworpen voor diegenen die niet voldoende kunnen zien om het 
aanraakscherm te kunnen gebruiken. Dit zijn blinden en slechtzienden die zogenaamd 
maatschappelijk blind zijn; iedereen met een visus van 0,05 of minder, of alleen verschil tussen 
licht en donker zien. Ook slechtzienden met een visus groter dan 0,05, maar die toch niet 
voldoende kunnen zien om de juiste keuzes te maken, zouden gebruik kunnen maken van deze 
interactie. 
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Ontwerp van een simulatie 

stemprinter 

Dit hoofdstuk beschrijft het ontwerp van de 4 verschillende gebruiker-stemprinter interacties. In 
3.1 wordt eerst ingegaan op het keuzeproces dat een gebruiker van de simulatie doorloopt. 
Vervolgens worden de ontwerpen van de 4 interacties toegelicht. 

Gedurende de ontwikkeling van de simulatie van de stemprinter zijn de volgende 
belangenverenigingen en ervaringsdeskundigen geraadpleegd: 

• leder(in), koepelorganisatie van mensen met een beperking of chronische ziekte 

• Oogvereniging, belangenvereniging voor mensen met een visuele beperking 

• Stichting Lezen & Schrijven 

• De heer De Paauw, voormalig voorzitter CG-raad 

Ook zijn op diverse momenten verschillende groepen gebruikers geraadpleegd. Door het 
voorleggen en testen van de eerste (schets)ontwerpen zijn keuzes geëvalueerd en aanpassingen 
gemaakt aan het ontwerp van de simulatie. Op de faculteit Industrieel Ontwerpen hebben de 
volgende groepen deelgenomen aan de tests: 

• 18 personen werkzaam op de faculteit Industrieel Ontwerpen van de TUD (van 
onderhoudsmensen tot wetenschappers) 

• 10 personen tussen de 60 en 90 jaar, Stichting Welzijns Ondersteuning Pijnacker (SWOP) 

• 3 personen die laaggeletterd zijn geweest, ambassadeurs via de Stichting Lezen & 
Schrijven. 

Verder hebben er evaluaties plaatsgevonden buiten de faculteit met: 

• 8 laaggeletterden, ROC Mondriaan (Delft) 

• 4 slechtzienden, Oogvereniging (Utrecht) 

• 3 blinden, Oogvereniging (Utrecht) 


3.1 Het maken van keuzes op de simulatie stemprinter 

Om een stembiljet met de simulatie te printen moeten de proefpersonen meerdere handelingen 
verrichten. Elke stap in het proces vraagt om een keuze. In 3.1.1 wordt beschreven hoe deze 
stappen in relatie staan tot elkaar. In 3.1.2 wordt elke stap toegelicht. Het keuzeproces is in basis 
gelijk voor alle 4 interacties. 
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3.1.1 Stroomdiagram van de keuzes op de simulatie stemprinter 

Het stroomdiagram (Figuur 1) laat het keuzeproces zien dat op simulatie stemprinter gevolgd 
moet worden. Een proefpersoon begint bij start, dit simuleert het vrijgeven van de stemprinter. 
Vervolgens komt men in het verkiezingen overzicht, dit kan gezien worden als de stap waarin 
men kan bepalen of men een keuze voor een verkiezing wil maken danwel de simulatie wil 
stoppen. Na het printen en controleren van een stembiljet komt men terug in het 
verkiezingenoverzicht. In het geval dat de laatste verkiezing is afgerond komt men bij het einde. 
De basis van het stroomdiagram is gelijk voor alle 4 de interacties. Er is echter 1 uitzondering 
voor de auditieve interactie: deze interactie kent geen tabbladen. De tabbladen worden 
besproken in paragraaf 3.2.6. 

3.1.2 Uitgangspunten die van invloed zijn op keuzeproces dat de kiezer doorloopt 

Van de uitgangspunten uit paragraaf 1.5, zijn er een aantal die direct gevolgen hebben voor het 
aantal en de soort keuzes die men moet maken op de simulatie. Deze gelden voor alle 4 
interacties. Hieronder volgen de uitgangspunten die direct invloed hebben op het keuzeproces 
dat de kiezer doorloopt. 

• Verkiezingenoverzicht: kiezers kunnen zelf de volgorde bepalen bij meervoudige 
verkiezingen. Hierdoor is er een overzicht waar de kiezer een verkiezing selecteert en dit 
kan blijven doen tot alle, voor de kiezer beschikbare stembiljetten zijn geprint. 

• Gefaseerd stemmen: alle lijsten en kandidaten in één enkel overzicht presenteren zou 
leiden tot onleesbare kleine teksten of een voor veel mensen complexe bediening 
middels bijvoorbeeld scrollen van het scherm. Daarom is gekozen voor een apart lijsten¬ 
en kandidatenoverzicht. Men kiest eerst voor een lijst en vervolgens voor een kandidaat. 

• Blanco stem: per verkiezing kan men blanco selecteren. Deze optie wordt bij elke 
verkiezing aangeboden in het overzicht volgend op de verkiezingskeuze. Andere 
mogelijkheden, zoals bijvoorbeeld een aparte keuzestap waarbij moet kiezen tussen 
blanco en het lijstenoverzicht, zou leiden tot een extra stap voor diegenen die niet 
blanco willen stemmen (de overgrote meerderheid). 

• Keuze bevestigen: bevestigen en printen tegelijk. Nadat er een keuze is gemaakt voor 
blanco, een kandidaat of een antwoord op de referendumvraag volgt er een 
bevestigingsstap. Op dat moment kan de kiezer de keuze bevestigen en het stembiljet 
printen of teruggaan om een andere keuze te maken. Met het bevestigen van de keuze 
wordt ook direct het stembiljet geprint. Een printstap na het bevestigen zou omslachtig 
zijn. 

• Stembiljet controleren. Deze stap is ingebouwd om de transparantie en 
controleerbaarheid te waarborgen. 'Het papieren stembiljet stelt de kiezer in staat te 
verifiëren dat zijn stem correct is geregistreerd' 14 , door het papieren stembiljet uit de 
printer te controleren (vergelijken) met de voorvertoning van het stembiljet op het 
beeldscherm. 

• Printen per verkiezing en niet in 1 keer. Er is gekozen om na elke verkiezing het 
stembiljet te printen en de mogelijkheid te bieden om deze te controleren. De kiezer 
heeft op deze manier zijn of haar keuze nog recent in het geheugen. Wanneer alle 
stembiljetten aan het einde van een meervoudige verkiezing zouden worden geprint zal 
dit leiden tot een complexere situatie; men heeft meerdere stembiljetten in de hand die 
vergeleken moeten worden met meerdere voorvertoningen op het scherm. 

• Terug knop altijd beschikbaar. Hierdoor kunnen vergissingen worden hersteld. Voor elke 
type interactie is deze handeling altijd uit te voeren met een specifieke knop; als tactiele 
knop of een knop op het scherm. 


14 

Commissie onderzoek elektronisch stemmen in het stemlokaal. Elke stem telt/ Elektronisch stemmen en 
tellen (Van Beek 2013). 
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Instellingen 



start 



[nee] 


Einde 


Dynamische tekst afhankelijk 
van het totaal aantal stembiljetten. 


actie 


instellingen scherm 
voor tester 


CD 

CD 

CD 


verkiezingsstap 

tabs niet aanwezig in 
auditieve interactie 

stembiljet 


Figuur 1. Stroomdiagram van de simulatie. 























































































3.2 Interactie 1: Grafisch aanraakscherm 


De paragraaf beschrijft de apparatuur onderdelen en de grafische interface van de eerste 
interactie, het grafisch aanraakscherm. 

3.2.1 Grafisch aanraakscherm 

Het grafisch aanraakscherm (Figuur 2) bestaat uit het grafisch beeldscherm waarmee alle visuele 
terugkoppeling plaatsvindt en een aanraak gevoelige laag waarmee de simulatie bediend kan 
worden. 



Oriëntatie van het scherm 

Het scherm is liggend georiënteerd. Dit sluit beter aan bij het gebied dat mensen kunnen 
bestrijken (reikwijdte) met hun handen, dan bij een staande oriëntatie van het scherm. Daarbij 
hebben eerste evaluaties uitgewezen dat gebruikers het overzicht over het scherm verliezen 
wanneer een 24 inch scherm een staande oriëntatie heeft. 

Grootte van het scherm 

Om tekst goed leesbaar te maken is een groot formaat scherm van belang. Een kleiner scherm 
met even grote letters zou betekenen dat er extra complexiteit (in de vorm van 
knoppen/interactie) moet worden toegevoegd om evenveel informatie weer te geven (naar 
volgende schermafbeeldingen te navigeren). 











3.2.2 Basisopbouw van alle schermen 

Een beeldscherm geeft de vrijheid om veel lijnen, kleuren en uitleg te gebruiken. Er is echter 
uitgegaan van een rustig beeld met zo weinig mogelijk informatie per scherm. Extra 
toevoegingen zouden naar mening van TUD de gebruiker af kunnen leiden van hun taak. 

Vast stramien 

Vaste grafische elementen zorgen voor een duidelijke referentie voor de gebruiker en een 
samenhang tussen de verschillende schermen. Gebruikers worden geholpen in hun handelen 
wanneer repeterende onderdelen steeds op eenzelfde plek in het scherm staan. Hierdoor 
kunnen zij zich sneller oriënteren wanneer zij naar een volgend overzicht navigeren. 

De basisopbouw (Figuur 3) van alle schermen is opgebouwd uit twee vlakken: 

• Een smalle donkerblauwe balk met vaste elementen. 

o De terug knop. Deze gaat altijd terug naar het vorige scherm, 
o Een korte instructie wat de gebruiker op het betreffende scherm moet doen. 
o De naam van de verkiezing. 

o De voortgang van het keuzeproces, uitgedrukt in balkjes die lichtgekleurd 
worden. 

• Een vlak met een lichtblauwe achtergrondkleur. Hier staan alle knoppen in die nodig zijn 
om de keuzes te maken. Alle knoppen in dit vlak brengen de gebruiker verder in het 
proces. De indeling verschilt per stap in het keuzeproces; een referendum vraagt 
bijvoorbeeld om een andere aanpak dan een lijstverkiezing. 



Figuur 3 Basisopbouw van het scherm, hoofdeling in twee vlakken. 


Kleurgebruik: onderscheid door contrast. 

Deze twee verschillende delen zijn verdeeld door een verschil in achtergrondkleur. Doordat de 
achtergrond iets donkerder is dan de knoppen wordt de contour van de knoppen duidelijker 
zichtbaar. Voor de teksten is er gekozen voor een zo hoog mogelijk contrast. Zwarte tekst staat 
op een zeer licht gekleurd of witte achtergrond. Witte tekst op een zeer donkere kleur. 
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Lettergroottes 

De lettergroottes in de interface zijn zo groot als mogelijk gemaakt voor het schermformaat van 
24 inch. Bij de lettergroottes van de namen en nummers van de lijsten en kandidaten is 
uitgegaan van het beschikbare oppervlak van de knoppen in combinatie met het maximaal aantal 
benodigde tekens. Dit wordt verder toegelicht in paragraaf 3.2.4 en 3.2.5. De lettergroottes van 
de namen van de lijsten en kandidaten zijn leidend geweest voor de lettergroottes van de andere 
knoppen. Voor de leesbaarheid van het geheel heeft het immers weinig meerwaarde als de tekst 
op algemene navigatieknoppen groter is dan de naam van de kandidaat. De tekst in de knoppen 
voor het referendum zijn afgestemd op het totale beeld, maar niet kleiner dan de namen van 
lijsten en kandidaten. In Figuur 4 staan de verschillende groottes afgebeeld van de teksten op het 
huidige stembiljet en de simulatie van de stemprinter. 


Huidige stembiljet 

Simulatie stemprinter 

Lijst 1 

Helvetica Bold 13 pt 

1 

Glober SemiBold 42pt 

Naam van de lijst 

Helvetiea Bold 8 pt 

Naam van de lijst 

Glober SemiBold 21 pt 

Achternaam 

Helvetica Bold 7 pt 

Achternaam 

Glober SemiBold 21 pt 

V. (Voornaam) (m) 

Helvetica Regular 6 pt 

Voornaam, V. (m) 

Glober Regular 15pt 

Woonplaats 

Helvetica Regular 5,5pt 

Woonplaats 

Glober Regular lipt 


Figuur 4 Lettergroottes van het huidige stembiljet en van de simulatie stemprinter naast elkaar. 


Lettertype 

Voor de simulatie is gekozen voor het lettertype Glober. Dit lettertype gekenmerkt door een 
goede leesbaarheid beeldscherm en papier. Daarbij is het geschikt voor zowel koppen als 
lopende tekst. 
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Verkiezingenoverzicht 

Het verkiezingenoverzicht (Figuur 5) simuleert het scherm waarop getoond wordt voor welke 
verkiezingen de proefpersoon een keuze kan maken en een stembiljet voor kan printen. De 
verkiezingen staan onder elkaar, net zoals de lijsten en de kandidaten. In het geval een 
proefpersoon een volmacht heeft staat rechts van de verkiezing nog een keer een knop 
afgebeeld. Het aantal knoppen komt hiermee overeen met het aantal stembiljetten dat geprint 
kan worden. Dit zorgt voor een duidelijk mentaal model waarbij de kiezer als het ware een knop 
'ruilt' voor een stembiljet. Er is voor gekozen om niet expliciet op het scherm de term volmacht 
te vermelden. Hiervoor is onder meer gekozen, omdat is aangenomen dat het begrip volmacht 
niet voor alle proefpersonen begrijpelijk zou zijn. Ook zou dit suggereren dat het stembiljet voor 
een volmacht anders zou zijn dan dat voor een eigen keuze. 

Rechtsonder staat de knop 'Stoppen'. Hiermee kan de proefpersoon besluiten te stoppen. De 
proefpersoon komt dan in het 'Einde' scherm. 'Stoppen' wordt niet als voorkeurskeuze gezien en 
staat daarom minder prominent in beeld. Net zoals de blanco knop in het lijstenoverzicht en het 
referendum staat deze rechtsonder. 


Maak een keuze 


Verkiezing 

Verkiezing 

Gemeenteraad 

Gemeenteraad 

Referendum 


Nieuwe kantoren 



Stoppen 


Figuur 5 Verkiezingenoverzicht met 2 verkiezingen en 1 volmacht. 


Wanneer er een stembiljet voor een verkiezing is geprint zal de desbetreffende knop 'grijs' 
worden (Figuur 6). Hierdoor krijgt de kiezer ook op het scherm een terugkoppeling voor welke 
verkiezing al een keuze is gemaakt. Doordat de knop 'grijs' is, wordt duidelijk gemaakt dat deze 
knop niet meer te gebruiken is. 
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Maak een keuze 


Verkiezing 

Gemeenteraad 


Referendum 
Nieuwe kantoren 


Verkiezing 

Gemeenteraad 


Stoppen 


Figuur 6 Verkiezingenoverzicht, er is 1 stembiljet geprint. 


3.2.3 Lijstenoverzicht 

Het uitgangspunt voor het lijstenscherm is 40 lijsten. Het scherm is opgedeeld in een raster van 4 
kolommen met elk 10 knoppen (Figuur 7). Deze verdeling in tientallen is overzichtelijker en telt 
makkelijker dan bijvoorbeeld een verdeling in achttallen. Ook komen de verhoudingen goed uit 
met de inhoud van elke knop, veel lijstnamen passen op één regel. Meer knoppen onder elkaar 
zou leiden tot kleinere tekst en een minder groot oppervlak om op te drukken. 

De knop 'Blanco' is in hetzelfde raster opgenomen als de lijsten en staat altijd rechtsonder in 
beeld. Deze keuze heeft tot gevolg dat er maximaal 39 lijsten weergegeven kunnen worden, 
maar de grootte van deze knoppen niet verkleind hoeft te worden. 


Kies een lijst 


Verkiezing Gemeenteraad 


D 

Europese Kleurenpartij | 


Partij 11 

B 

Planten voor het Volk 
tweede Regel 

EB 

Sport partij 

r r 1 muiuj 1 

B 

Europese Weermannen 

Gecombineerd mei Ijj&t 4 

EB 

Het Verschil ^jjj^ 

□ 

NieuwGoed 


Nieuw Geluid «uw 

B 

Europese 

Dierenalliantie SÉEDA 

m 

Partij van het Donker 

O 

Kruidig ^ 

EO 

Lijst 900 

/ • 

B 

Lijst Smaak 

EB 

De Partij voor 

Vindingrijken 

O 

Planetenpartij 


Lijst Universalisme p j 

B 

Partij Proza en Poëzie 

-SST 


Insectenpartij 


Partij Land- en 
waterweg 

m 

Fie,sparti i |j§ 


Blanco 


Figuur 7 Lijstenoverzicht: 4 kolommen van 10 knoppen. 
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Lijstnummer 

Het lijstnummer staat in een zwart vierkant voor de lijstnaam. De zwarte vierkanten zorgen 
ervoor dat de rijden duidelijk van elkaar te onderscheiden zijn. Het zoeken wordt ondersteund 
door de verdeling in tientallen. 

Specifiek voor slechtzienden en laaggeletterden is uitgegaan van grote cijfers voor de lijsten en 
kandidaten. Deze cijfers zijn groter weer te geven dan de tekst die daarop volgt. Op basis van de 
cijfers kunnen zij keuzes maken in het lijsten- en kandidatenscherm. In het bevestigingsscherm 
zijn de geselecteerde namen van de lijst en kandidaat groter afgebeeld. 

Lijstnaam 

Er is tenminste plaats voor 35 tekens. Hier is het maximum aantal tekens aangehouden dat thans 
in de wet- en regelgeving geldt voor politieke groeperingen die zich willen registreren om mee te 
kunnen doen aan een verkiezing. Ook is er extra ruime om lange lijstnamen op een logische plek 
af te breken. 

Lijstverbinding 

De lijstverbinding staat rechtsonder in de knop. Dit staat ver genoeg onderin de knop zodat er 
ruimte overblijft voor een lijstnaam die 2 regels inneemt. 

Logo 

Een logo in kleur staat achter de lijstnaam. Het logo is zo groot mogelijk weergegeven in een 
vierkant met vaste afmetingen. 

Voortgang 

Rechtsboven in beeld, in de donker blauwe balk, staat de naam van de verkiezing. Daaronder 
wordt de voortgang van de verkiezing weergegeven door middel van balkjes die bij elke stap 
verkleuren, in dezelfde kleurstelling als de lichtblauwe achtergrond, om niet teveel aandacht te 
trekken. Deze voortgangsbalkjes zijn toegevoegd, omdat uit de evaluaties tijdens het 
ontwerpproces is gebleken dat gebruikers willen kunnen zien hoeveel stappen ze nog moeten 
doen tot ze een stembiljet hebben geprint. 

Tijdens het evalueren van concepten van de simulatie gedurende de ontwerpfase werd 
veelvuldig de opmerking gemaakt dat het woord 'lijsten' verwarrend is. Gebruikers zien dit als 
namen en logo's van 'partijen'. 


3.2.4 Kandidatenoverzicht 

Een belangrijk aspect van het kandidatenoverzicht is het aantal kandidaten dat gelijktijdig 
zichtbaar is. Tijdens de ontwikkeling is gelet op de volgende aspecten: 

• Het aantal rijen en kolommen en het gemak waarmee de knoppen geteld kunnen 
worden. 

• De mogelijkheid om pasfoto's weer te geven en de grootte van pasfoto's. 

• De verhouding van de afmetingen van de knoppen. 

• De grootte van de teksten en de indeling daarvan. 

Hieruit volgden 2 varianten: 

• 'Tab' variant: 20 kandidaten per scherm. Kiezers kunnen met behulp van tabbladen alle 
kandidaten bereiken. De achternaam is even groot als een lijstnaam in het 
lijstenoverzicht en er is plaats voor een pasfoto (Figuur 8). 
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• '80' variant: 80 kandidaten per keer. Het maximale aantal kandidaten kan in 1 scherm 

worden weergegeven. De achternaam is kleiner dan een lijstnaam in het lijstenoverzicht 
en er is geen plaats voor een pasfoto (Figuur 9). 

In bijlage 1 zijn uitsneden van de 2 varianten en het huidige stembiljet op ware grootte 
weergegeven. Bij tussenvarianten (bijvoorbeeld 40 kandidaten per scherm) zijn de achternamen 
kleiner dan een lijstnaam en zouden pasfoto's dermate klein zijn dat de herkenbaarheid van de 
afgebeelde personen sterk afneemt. 
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Figuur 8 Kandidatenoverzicht met 20 kandidaten per scherm. 
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Figuur 9 Kandidatenoverzicht 80 kandidaten op 1 scherm. 


Gekozen variant: Tab, 20 kandidaten per scherm 

Het kandidatenscherm 20 kandidaten in een raster van 4 bij 5 (Figuur 8). Dit blijkt een optimum 
tussen de hoeveelheid knoppen dat weergegeven kan worden, de overzichtelijkheid van de 
kandidaten (kolommen van 5), de grootte van de teksten en de grootte van de pasfoto. Wanneer 
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er meer dan 20 kandidaten op de lijst staan, verschijnen er 2 of meer 'tabbladen' boven de 
kandidaten. Door het gebruik van tabbladen kan men meteen naar de laatste kandidaten op de 
lijst. Dit in tegenstelling tot een methode waarbij men eerst de tussenliggende kandidaten te zien 
krijgt. Door de tabbladen boven de kandidaten te plaatsen valt op dat er meer te kiezen is dan de 
20 kandidaten die getoond worden. Boven de kandidaten staat de gekozen lijst als extra 
bevestiging: lijstnummer, logo van de partij en de lijstnaam. Deze informatie hoort bij de 
getoonde kandidaten en staat daarom vlak boven de kandidaten in het lichtblauwe vlak. 


Keuze voor de 'Tab' variant 

Op basis van de evaluaties tijdens het ontwerpproces, gesprekken met diverse specialisten en de 
betrokken belangenverenigingen, is er gekozen voor een maximum van 20 kandidaten per 
scherm, met de mogelijkheid om te kunnen wisselen tussen de schermen middels tabbladen. 

De motivatie voor het gebruik van 20 kandidaten met tabbladen: 

• Voorkeur bij doelgroep slechtzienden, met name door gebruik van grotere teksten. 

• Voorkeur bij doelgroep laaggeletterden, met name door gebruik van foto's. 

• Voorkeur bij doelgroep verstandelijk gehandicapten met name door gebruik van minder 
informatie op het kandidatenscherm en gebruik foto's. 

• Voorkeur bij doelgroep huidige kiezer, door combinatie van gebruik van grotere teksten 
en minder informatie op het kandidatenscherm. 

Er zijn ook mogelijke nadelen: 

• Een deel van de gebruikers bij de eerste evaluaties had geen voorkeur voor foto's. 
Sommigen vonden deze overbodig en zelfs afleiden. Dit heeft wellicht ook te maken met 
het feit dat de aangeboden foto's niet herkenbaar zijn. De evaluaties zijn uitgevoerd met 
fictieve pasfoto's. 

• Daarnaast had een deel van de gebruikers een voorkeur voor variant '80', vanwege de 
overeenkomst met het huidige stembiljet; lange lijsten met kandidaten. 

• In de 'Tab 1 variant zijn niet alle kandidaten gelijktijdig op een scherm te zien zijn (maar 
slechts 20) en moet de gebruiker de vervolgschermen weten te vinden. 

De voordelen van de 'Tab' variant wegen naar de mening van TUD zwaarder dan de nadelen. In 
deze afweging speelt tevens een rol dat uit verkiezingsuitslagen van afgelopen jaren blijkt dat het 
merendeel van de stemmen (ongeveer 90%) uitgebracht wordt op een van de eerste 20 
kandidaten. Voorlichting aan kiezers over het gebruik van de 'Tab 1 zal echter een belangrijk punt 
van aandacht zijn. Het moet uiteraard voor iedereen duidelijk zijn op welke wijze een 
voorkeursstem uit te brengen is, ook op een kandidaat die op een lagere plaats staat dan 20. 


Kandidatenknop 

De knop voor de kandidaten is vergelijkbaar opgebouwd als de knoppen voor de lijsten. Het 
zwarte vlak met het kandidaat nummer zorgt dat de kolommen duidelijk zijn te onderscheiden 
(Figuur 8). Het grootste deel van de knop is beschikbaar voor de achternaam van de kandidaat. 
Namen die te lang zijn voor de 2 beschikbare regels zullen worden verkleind tot het past. De 
voornaam, initialen, geslacht en woonplaats volgen vlak daaronder, deze indeling is 
overgenomen van het huidige stembiljet. Er is echter gekozen om de voornaam en initialen om te 
draaien om de leesbaarheid te vergroten. Aan de rechterkant is plaats voor een pasfoto. De 
afmetingen zijn gelijk aan het zwarte vlak van het kandidaat nummer. 
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3.2.5 Bevestiging 

Nadat een kandidaat is geselecteerd volgt de vraag om de keuze voor de lijst en de kandidaat te 
bevestigen. In het bevestigingsscherm wordt gevraagd om de keuze niet alleen te bevestigen, 
maar ook te printen (Figuur 10). Aan de rechterkant van de afbeelding van het stembiljet staat de 
knop 'Keuze bevestigen', met de term 'bevestigen' wordt duidelijk gemaakt dat er na deze stap 
geen mogelijkheid is tot correctie. In de knop staat ook de tekst 'Stembiljet printen', hiermee 
wordt duidelijk gemaakt wat er gaat gebeuren wanneer er op de knop wordt gedrukt. Naast de 
tekst staat een groene cirkel met een vinkje, dit veelgebruikte symbool geeft aan dat het om een 
bevestigingsstap gaat. De kleur is gecombineerd met een symbool zodat ook groen-kleurenblinde 
deze informatie meekrijgen. 

In het midden is een afbeelding van het stembiljet. Op deze wijze kan de informatie op het 
scherm goed worden vergeleken met de geprinte informatie op het stembiljet. In het geval men 
kiest voor 'Blanco' komt er op de voorvertoning ook 'Blanco' te staan om te voorkomen dat men 
denkt dat er iets mis is gegaan. Dit geldt ook voor het geprinte stembiljet. Het scherm voor een 
referendum is identiek aan dat van een lijstverkiezing (Figuur 11). 
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Figuur 10 Bevestigingsscherm van een lijstverkiezing. 



Figuur 11 Bevestigingsscherm voor een referendum is 
identiek aan een lijstverkiezing. 
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3.2.6 Printen 

Tijdens het printen blijft de afbeelding van het stembiljet in beeld staan, dit impliceert dat deze 
afbeelding wordt geprint (Figuur 12). Naast het stembiljet zijn grijze blokjes afgebeeld die 
gedurende het printproces groen worden, de voortgangsbalk van de printer. De voortgangsbalk 
laat zien dat de simulatie wel iets aan het doen is, maar de gebruiker even moet wachten. Elke 
seconde wordt 1 blokje ingekleurd. Doordat het ritme van inkleuren en het einde duidelijk is, 
weet de gebruiker precies hoelang het nog duurt. Het aantal blokjes hangt af van de snelheid van 
het printen. Bij deze simulatie duurt het 11 seconden voordat het stembiljet volledig uit de 
printer komt. 

De terugknop is in dit scherm niet zichtbaar, er is geen mogelijkheid meer om de keuze te 
corrigeren, omdat de keuze reeds bevestigd is. De indeling van het printscherm voor een 
referendum is identiek aan dat van een lijstverkiezing (Figuur 13). 
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Het stembiljet wordt geprint. 


Figuur 12 Het scherm tijdens het printen van een stembiljet. Groene blokjes geven de voortgang aan. 



Figuur 13 Het scherm tijdens het printen voor het 
referendum is identiek aan een lijstverkiezing. 
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3.2.7 Stembiljet controleren 

Nadat het stembiljet is geprint verschijnt er een nieuwe knop 'Klaar met controleren' (Figuur 14). 
De voorvertoning van het stembiljet blijft in beeld staan zodat de gebruiker het geprinte 
stembiljet direct kan vergelijken met de keuze zoals deze gemaakt is op de simulatie. De knop 
'Klaar met controleren' is weer een bevestigende knop. Hier wordt hetzelfde symbool gebruikt 
als in de bevestigingsknop voor het printen 

De indeling van het controlescherm voor het referendum is identiek aan het scherm voor een 
lijstverkiezing (Figuur 15). 
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Figuur 14 Het controlescherm nadat een stembiljet is geprint. 



Figuur 15 Het controlescherm voor het referendum is 
identiek aan het scherm voor een lijstverkiezing. 
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3.2.8 Referendum 

De referendumvraag staat gecentreerd in beeld in zo groot mogelijk letters, maar in proportie 
met de andere tekst in het scherm (Figuur 16). Op dit scherm is alle ruimte om de knoppen ver 
uit elkaar te plaatsen, hierdoor wordt voorkomen dat iemand op de verkeerde knop drukt. De 
'Blanco' knop staat op een vergelijkbare plaats als de 'Stoppen' knop in het lijstenoverzicht. 



Figuur 16 Het referendumscherm. De vraag moet beantwoord worden met 'Voor', 'Tegen' of 'Blanco'. 


3.2.9 Einde 

Het eindscherm wordt bereikt wanneer alle beschikbare stembiljetten zijn geprint (Figuur 18) of 
wanneer op 'Stoppen' wordt gedrukt in het verkiezingenoverzicht (Figuur 17). Het verschil zit in 
de terug knop en informatie over hoeveel stembiljetten zijn geprint en nog open staan. 


Einde 


Einde 

U heeft 2 stembiljetten geprint. 


U heeft 1 stembiljet geprint. 

Geef de stembiljetten af. 


U heeft voor 1 verkiezing nog geen keuze gemaakt. 



Wilt u toch nog een keuze maken? 

Druk dan op Terug 



Bent u klaar? Geef dan het stembiljet af. 

Figuur 18 Het eindscherm wanneer alle beschikbare 
stembiljetten zijn geprint. 

Figuur 17 Het eindscherm in het geval niet alle 
stembiljetten zijn geprint. De terug knop is nog zichtbaar. 
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3.3 Interactie 2: Auditieve ondersteuning 

De audio ondersteuning dient ter ondersteuning bij het gebruik van het aanraakscherm. Dit 
betekent dat de gebruiker nog steeds het aanraakscherm nodig heeft om een keuze te maken en 
alle opties te bekijken. 

Voor elke handeling krijgt de gebruiker te horen wat deze moet doen. Na elke druk op een knop 
krijgt de gebruiker te horen wat hij of zij heeft gekozen (met uitzondering van de tabbladen). Dit 
geeft de gebruiker een bevestiging van hetgeen zichtbaar is op het scherm. Na de bevestiging 
volgt de instructie wat de gebruiker vervolgens kan doen, dit is de tekst die op het 
aanraakscherm boven in beeld staat. De twee belangrijkste verschillen met de audio interactie 
zijn: 

• De interface wordt bediend met het aanraakscherm, alle grafische elementen zijn 
identiek aan de modus waarbij alleen het aanraakscherm wordt gebruikt. 

• De auditieve ondersteuning is bedoeld voor de terugkoppeling over de gekozen 
knoppen. De stem zegt alleen wat de gebruiker heeft ingedrukt op het scherm en leest 
de instructie voor die boven in beeld staat. Er wordt geen audio toelichting gegeven 
over het gebruik van het aanraakscherm. 

In bijlage 2 staan alle teksten van de auditieve ondersteuning. 


3.4 Interactie 3: Tactiele knoppen voor motorisch beperkten 

Voor mensen die moeite hebben met het bedienen van een aanraakscherm door een beperking 
in de motoriek is er een interactie met tactiele knoppen. Tactiele knoppen vragen om een minder 
nauwkeurige positionering van de hand. Ook kunnen mensen hun arm en/ of hand ondersteunen 
naast de knoppen, bij een aanraakscherm zou men mogelijk andere knoppen aan kunnen raken. 

Bij het maken van het ontwerp voor de tactiele knoppen is gekozen voor dezelfde knoppen 
configuratie voor zowel mensen met een motorische beperking als die door blinden gebruikt 
zouden moeten kunnen worden. Dit in de veronderstelling dat twee verschillende configuraties 
tactiele knoppen, als een stemprinter daadwerkelijk zou worden ingevoerd, tot onduidelijkheid 
zou leiden bij kiezers. Hieruit volgt dat de knoppen zowel visueel als tactiel goed waar te nemen 
moeten zijn. 

Voor de koppeling tussen de tactiele knoppen en de knoppen op het scherm is er voor gezorgd 
dat alle (witte) knoppen in het scherm bereikt kunnen worden door de tactiele pijl knoppen te 
gebruiken. Hierdoor zitten er geen 'verborgen interacties' binnen een scherm; er hoeft 
tussentijds niet op een andere dan een tactiele pijl knop gedrukt te worden om andere opties 
binnen het scherm te bereiken. De terug knop in het scherm (lichtblauw) is altijd te gebruiken 
met de tactiele terug knop en is daarom niet te bereiken met behulp van de tactiele pijl knoppen. 
Wanneer een knop om het scherm geselecteerd is, krijgt deze een oranje rand (Figuur 19). 
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Figuur 19 Lijsten overzicht, de geselecteerde knop heeft een oranje rand. De rode gestippelde rode lijn geeft 
het pad aan wat gevolgd wordt. Deze is niet te zien voor de kiezer. Het pad kan via beide richtingen worden 
doorlopen. 


3.4.1 Tactiele knoppen 

In bestaande interfaces die gebruikt worden door mensen met motorische beperkingen wordt 
vaak een 2-knops of 3-knops bediening toegepast. Deze bedieningsvorm wordt scanning 
genoemd. Met 1 of 2 knoppen kan men langs alle opties op het scherm lopen in een vast 
omschreven pad, met een andere knop wordt de selectie bevestigd. 

Voor de simulatie is echter een 4-knops bediening toegepast (Figuur 20). Twee knoppen om langs 
de opties te lopen, één knop om te bevestigen en één knop waarmee altijd wordt teruggegaan 
naar het vorige scherm (waar dit mogelijk is). De extra terug knop en een tweede navigatiepijl 
geven de mogelijkheid om eventuele fouten sneller te corrigeren. De volgorde waarin de 
knoppen elkaar volgen loopt altijd rond: er is een mogelijkheid om van de eerste knop in het 
scherm naar de laatste te gaan en andersom (Figuur 19). Wanneer een nieuw scherm wordt 
getoond, staat de selectierand altijd op de eerste knop van de pagina. In bijlage 3 staat een 
afbeelding van de knoppen op ware grootte en een tekening met afmetingen. 
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3.5 Interactie 4: Auditieve interactie voor blinden 


Deze interface wordt bediend met 4 tactiele knoppen: een terug-knop, twee navigatie knoppen 
en een bevestigingsknop. Ook hier zou kunnen worden volstaan met twee knoppen. Een terug 
knop en een tweede pijl knop geven de mogelijkheid om eventuele fouten sneller te corrigeren. 
Er is een onderscheid in de vorm en positie van de knoppen zodat ze duidelijk zijn te benoemen 
en op de tast van elkaar zijn te onderscheiden. 

De gebruiker krijgt terugkoppeling doormiddel van een koptelefoon. Het scherm geeft niets van 
het keuzeproces weer, de kiezer kan immers niet controleren of er niet mee wordt gekeken. 

Alle keuzes worden gemaakt op basis van audiofragmenten. Na het indrukken van een knop volgt 
een terugkoppeling via de koptelefoon en volgt een nieuw keuzemenu. De keuzes worden 
voorgelezen wanneer men de pijl knoppen gebruikt. Hierdoor kan men sneller naar een lijst of 
kandidaat met een hoger nummer, dan wanneer alle opties (tot maximaal 80 kandidaten) 
uitgeluisterd moeten worden voordat men de gewenste optie hoort, zoals bijvoorbeeld een 
telefoonmenu. 

In bijlage 4 staan alle teksten van de auditieve interactie. 
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3.6 Stembiljet en printer 

Het stembiljet en de printer is in de ontwikkelde simulatie voor alle interacties gelijk. 

3.6.1 Stembiljet 

Het ontwerp van het stembiljet is specifiek gemaakt voor het uitvoeren van een test met de 
simulatie. Er is voornamelijk gelet op een logische volgorde van de informatie. Het is een 
langwerpig vel papier waarvan de verhoudingen lijken op die van een boarding pass (Figuur 21). 
Een formaat dat ook is genoemd door de commissie Van Beek. De volgende elementen staan 
erop: 

• 'Stembiljet', 

• De naam van de verkiezing. Dat is 
nodig omdat zowel de kiezer als het 
stembureau (tellen) moet kunnen zien 
voor welke verkiezing de stem zal 
worden/ is uitgebracht. 

• Een streep met de tekst 'Uw keuze'. 

Hiermee wordt gesuggereerd dat de 
tekst onder de streep de keuze van de 
kiezer is en niet een voorgedrukte 
tekst is. 

• Nummer en naam van de gekozen lijst 
en nummer en naam van de gekozen 
kandidaat. Zoveel mogelijk in dezelfde 
verhoudingen als op het scherm. 

• In het geval van een referendum komt 
er boven de streep de 
referendumvraag te staan en in het 
gedeelte onder de streep 'Voor', 

'Tegen' of 'Blanco'. 

3.6.2 Printer 

De printer zorgt ervoor dat de keuze die de 
proefpersoon heeft bevestigd wordt geprint op 
het stembiljet. Bij het printen moet de 
gebruiker zijn aandacht verplaatsen van het 
scherm of tactiele knoppen naar de plek waar 
het stembiljet uit het apparaat komt. Bepalend 
voor deze interactie is onder andere de 
tijdsduur van de volgende twee stappen in het 
printproces: 

• Tijd tussen indrukken van de printknop 
en het starten van de printer. 

• Tijdsduur van het daadwerkelijke 
printen. 


Stembiljet 


Verkiezing van de leden van de 
raad van de gemeente Nederveen. 

Uw keuze 


Lijst 2 

Planten voor 
het Volk 

Gecombineerd met lijst 6 

\ 

Kandidaat 43 

Roos 


Gerard, G.P. (m) 

Utrecht 
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Figuur 21 Een stembiljet nadat het geprint is. 
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4 

Testopzet simulatie stemprinter 


In dit hoofdstuk wordt de testopzet voor de test met de simulatie van de stemprinter beschreven. 
Achtereenvolgens komen aan bod; de doelstelling, de proefpersonen, de proefopstelling, de 
werkwijze en het testprotocol. 

Bij het maken van de testopzet is advies ingewonnen met de volgende specialisten: 

• ir. Lilian Henze, P5 Consultants, ruim 20 jaar ervaring met professioneel 
gebruiksonderzoek, tevens PhD kandidaat TUD 

• prof. dr. Peter Vink, hoogleraar ergonomie, TUD, specialist op gebied van ergonomisch 
onderzoek. 

• prof. dr. Jan Schoormans, hoogleraar consumenten onderzoek, TUD, specialist op gebied 
van consumentenonderzoek. 


4.1 Doelstelling 

Doel van het houden van een test met de simulatie van de stemprinter is na te gaan of de 
aanname(s) van de commissie Van Beek juist is dat het stemmen door gebruik te maken van een 
stemprinter toegankelijker wordt voor de kiezers. In het bijzonder voor kiezers met een 
beperking waarvoor het met de stemprinter mogelijk zou kunnen zijn om zelfstandig te 
stemmen. 

Deze doelstelling is uitgewerkt in een tweetal onderzoeksvragen die in paragraaf 1.3 zijn 
vermeld. Gelet op de keuzes die gedurende het ontwerpproces van de simulatie zijn gemaakt zijn 
er om de algemene onderzoeksvragen uit 1.3 te beantwoorden een aantal ondersteunende 
onderzoeksvragen geformuleerd, te weten: 

• Vormt de oplossing van de stemprinter interactie met tabbladen in het 
kandidatenscherm een belemmering bij het bedienen van de simulatie van de 
stemprinter (effectiviteit)? 

• Zijn de proefpersonen in staat om blanco te stemmen (effectiviteit)? 

• Hoeveel tijd hebben de proefpersonen met de simulatie nodig om een stembiljet te 
printen (efficiëntie)? 

• Hoe ervaren de proefpersonen de bediening van de simulatie van de stemprinter 
(tevredenheid)? 

Om te kunnen toetsen of de proefpersoon al dan niet in staat is om het huidige stembiljet correct 
in te vullen is als extra vraag toegevoegd: 

• Is de proefpersoon in staat om het huidige stembiljet zelfstandig in te vullen? 
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nauwkeurigheid 


4.2 Proefpersonen 

Om te bepalen wie als proefpersoon kan worden aangemerkt is naar de mening van TUD een 
steekproef nodig uit twee populaties: 

Groep A: 

De populatie van stemgerechtigde personen die in 2014 zelfstandig (dat wil zeggen zonder hulp 
in het stemhokje van een andere persoon) hebben gestemd bij de verkiezing van de leden van de 
gemeenteraden en/ of de leden van het Europees Parlement. 

Groep B: 

De populatie van stemgerechtigde personen die om uiteenlopende redenen mogelijk niet in staat 
zijn om zelfstandig (dat wil zeggen zonder hulp in het stemhokje van een andere persoon) te 
stemmen met het papieren stembiljet dat gebruikt wordt bij verkiezingen. 


Steekproef 

De steekproefgrootte voor groep A is 400 proefpersonen. 

Omdat het bij deze test gaat om een simulatie (slechts een deel van het hele stemproces, fictieve 
partijen en kandidaten, een voor de meeste mensen nieuw fenomeen van meervoudige 
verkiezingen) is een grote nauwkeurigheid bij het testen van de simulatie van de stemprinter niet 
zinvol. 

Voor het testen van de simulatie is daarom gekozen voor een, onder gebruiksonderzoekers 
algemeen gehanteerde, 95% betrouwbaarheid en 5% nauwkeurigheid van de steekproef. 
Betrouwbaarheid houdt in de voorspellende waarde van de test. Nauwkeurigheid betekent in 
deze: de afwijking van de resultaten van de test met de steekproef ten opzichte van de 
werkelijkheid. Als in de test 90% van de respondenten zelfstandig kunnen stemmen met de 
simulatie stemprinter zal met 95% zekerheid in werkelijkheid tussen de 85-95% (90 - 5 en 90 + 5) 
zelfstandig kunnen stemmen. 

Dit resulteert in een steekproefgrootte van minimaal n=385 (zie Figuur 22). Rekening houdend 
met een aantal niet bruikbare testresultaten is de steekproefgrootte bepaald op 400 
proefpersonen. 


Steekproefomvang en nauwkeurigheid 
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Gekozen is voor een evenredige onderverdeling (ten opzichte van de Nederlandse 
kiesgerechtigden) in leeftijd, geslacht, opleidingsniveau en regionale spreiding. 

Met name leeftijd en opleidingsniveau zijn een indicatie voor te verwachten problemen; bij een 
hogere leeftijd en een lagere opleiding zijn meer problemen te verwachten. 

De steekproefgrootte voor groep B is 30 proefpersonen per subgroep. 

Door de enorme spreiding in soorten beperkingen en de relatieve onbekendheid over de 
hoedanigheid en aantallen van de kiezers die nu niet zelfstandig een stem kunnen uitbrengen is 
gekozen voor relatief kleine subgroepen. Daarbij is ook het werven van proefpersonen uit deze 
subgroepen complex. Met de test wordt de problematiek rond het gebruik van de simulatie van 
de stemprinter in kaart gebracht. Wanneer er problemen bij de test met de simulatie optreden 
kan er van worden uitgegaan dat deze problemen ook in de werkelijkheid op zullen treden. De 
aard van de problemen geeft een goede voorspelling of de gekozen simulatie een goede 
oplossing is en geeft een inzicht in welke verbeteringen nodig zijn. Bij relatief weinig observaties 
(20-30 per situatie) zullen de meeste problemen reeds aan de orde komen 15 . Voor de groepen 
deelnemers met een beperking is dan ook voor een steekproefgrootte van 30 per subgroep 
(situatie) gekozen. 


4.2.1 Proefpersonen groep A 


Voor gebruikersgroep A gelden de volgende selectiecriteria: 

1/ De proefpersoon heeft in 2014 zelfstandig gestemd voor de verkiezing van de leden van de 
gemeenteraden en/ of de leden van het Europees Parlement. 

2/ Er is een evenredige verdeling van geslacht (50% man-50% vrouw) 


3/ De volgende aantallen proefpersonen per leeftijd categorie zijn gewenst: 

• 18-40 jaar ( 120 deelnemers) 

• 40-60 jaar ( 160 deelnemers) 

• 60-80 jaar ( 100 deelnemers) 

• 80+jaar ( 20 deelnemers) 


4/ Opleidingsniveau: 

• Minimaal 30% van de deelnemers heeft als hoogst genoten opleidingsniveau lager 
onderwijs. 

• Minimaal 30% van de deelnemers heeft als hoogst genoten opleidingsniveau hoger 
onderwijs. 

• De overige 40% van de deelnemers komt uit een van de drie opleidingsniveaus. 


5/ Regionale spreiding: 

• Minimaal 50% van de deelnemers komt uit stedelijk gebied (CBS: klasse 1 en 2) 

• Minimaal 30% van de deelnemers komt uit landelijk gebied (CBS: klasse 4 en 5) 

• De overige 20% van de deelnemers komt uit een van de vijf klassen. 


Kanis, H (2011), 'Estimating the number of usability problems', Applied ergonomics, 42 (2), 337-47. 
Nielsen, Jakob and Molich, Rolf (1990), 'Heuristic evaluation of user interfaces', Proceedings of the SIGCHI 
conference on Human factors in computing Systems (ACM), 249-56. 
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Ad 3: Evenredige verdeling van proefpersonen over leeftijd categorieën op basis van CBS data. 
Ad 4: Uitgangspunt is de verdeling zoals gehanteerd in de SOI cijfers 2012 (CBS): 

• lager: basisonderwijs, vmbo, mbo 1 (30%) 

• middelbaar: mbo 2, mbo 3, mbo4, havo, vwo (40%) 

• hoger: hbo, wo-bachelor, wo-master, doctor (30%) 

Ad 5: Stedelijkheid (CBS/Statline medio 2014) 


4.2.2 Proefpersonen groep B 

De proefpersonen voor groep B worden geworven volgens de volgende criteria. 

BI/ Blinden: deze proefpersonen zijn volledig blind of sociaal-/maatschappelijk blind (zien minder 
dan 5%, of zien alleen verschil tussen licht en donker) 

B2/ Slechtzienden: deze proefpersonen zijn zonder een hulpmiddel (anders dan bril en lenzen) en 
bij normale verlichting niet in staat zelfstandig op het huidige stembiljet de keuze te maken die zij 
willen. 

B3/ Laaggeletterden: deze proefpersonen kunnen in geen enkele taal goed lezen en schrijven, 
maar niet vanwege een verstandelijke beperking. 

B4/ Licht verstandelijk gehandicapten: deze proefpersonen hebben een verstandelijke beperking 
niet zijnde een psychische - of gedragsstoornis. 

B5/ Personen met (motorische) fysieke beperkingen: deze proefpersonen hebben beperkingen 
aan hun armen/handen waardoor ze niet in staat zijn op het huidige stembiljet zelfstandig de 
keuze te maken die zij willen, bijvoorbeeld door verlamming, spasmen, beven, reumatische 
aandoening. 

Voor de categorieën 1/2/5 geldt: 

• 30 deelnemers per categorie 

• maximaal 75% van hetzelfde geslacht. 

• maximaal 75% van dezelfde leeftijdscategorie: (18 - 50), (50 en ouder) 

• minimaal 15% van de deelnemers heeft als hoogst genoten opleidingsniveau lager 
onderwijs 

• minimaal 15% van de deelnemers heeft als hoogst genoten opleidingsniveau hoger 
onderwijs 

• minimaal 25% van de deelnemers komt uit stedelijk gebied (CBS: klasse 1-2) 

• minimaal 15% van de deelnemers komt uit landelijk gebied (CBS: klasse 4-5) 

Voor de categorieën 3/4 geldt: 

• 30 deelnemers per categorie 

• maximaal 75% van hetzelfde geslacht. 

• maximaal 75% van dezelfde leeftijdscategorie: (18 - 50), (50 en ouder) 

• minimaal 25% van de deelnemers komt uit stedelijk gebied (CBS: klasse 1-2) 

• minimaal 15% van de deelnemers komt uit landelijk gebied (CBS: klasse 4-5) 
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4.3 Proefopstelling 


Voor het uitvoeren van de test zijn 4 opstellingen ontwikkeld waar de simulatie van de 
stemprinter op kon worden gebruikt. Deze proefopstellingen zijn in opdracht van het ministerie 
van BZK door een externe dienstverlener geleverd op basis van de door TUD ontwikkelde en 
gespecificeerde gebruiker interacties. 


De proefopstelling bestaat uit een 24 inch aanraakscherm/ computer en een afzonderlijke printer 
(zie Figuur 23). Daarnaast kan voor de bediening van de simulatie gebruik gemaakt worden van 
tactiele knoppen, auditieve interactie en mogelijke auditieve ondersteuning via een koptelefoon. 



Figuur 23 Proefopstelling: koptelefoon, aanraakscherm, printer en tactiele knoppen. 


Scherm 

Voor de test is uitgegaan van een capacitief scherm. Vergeleken met andere aanraakscherm- 
technologieën is voor de bediening van dit type scherm weinig kracht nodig. Daarnaast is het een 
gangbare technologie die steeds verder wordt ontwikkeld. Mensen met een erg droge huid 
kunnen echter wel moeite hebben om het scherm te bedienen, de geleiding van de huid is dan 
lager. Onder ouderen is deze groep het grootst. 

Printer 

De printer zorgt ervoor dat de uiteindelijke keuze op het stembiljet komt te staan. Er wordt voor 
de test gebruik gemaakt van een zwart/wit printer. 

Koptelefoon 

Voor de auditieve terugkoppeling wordt een koptelefoon gebruikt. De koptelefoon moet harder 
en zachter gezet kunnen worden gezet zodat het geluidsniveau geschikt is voor de gebruiker. 
Voor de simulatie is uitgegaan van een commercieel verkrijgbaar model. Er is voor dit onderzoek 
niet specifiek gelet op pasvorm, grootte en afscherming van het geluid. 


4.3.1 Interacties 

Middels een configuratiescherm kunnen de gewenste interacties worden ingesteld. 

Dit betreft: 

1/ Aanraakscherm interactie (Groep A) 

• De aanraakscherm interactie met de proefpersoon. De deelnemer maakt keuzes via de 
schermen. 
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2/ Aanraakscherm met auditieve ondersteuning (Groep B: Slechtzienden/ Laaggeletterden/ Licht 
Verstandelijk Gehandicapten) 

• De aanraakscherm interactie kan auditief ondersteund worden door gesproken tekst 
(via koptelefoon). Instructies op het scherm en gemaakte keuzes op het scherm worden 
opgelezen. 

3/ Scherm in combinatie met tactiele knoppen (Groep B: Personen met Motorische Beperkingen) 

• De fysieke interactie vindt middels tactiele knoppen plaats (in plaats van via het aanraak 
scherm) in combinatie met dezelfde grafische informatie als bij 1 en 2 (op scherm). 

4/ Auditieve interactie in combinatie met tactiele knoppen (Groep B: Blinden) 

De auditieve interactie is een volledig op zichzelf staande interactie (zonder scherminteractie). 
Deze vindt plaats door middel van gesproken tekst (via koptelefoon) en tactiele knoppen. 

Om de uitkomsten van de test met de simulatie van de stemprinter te kunnen analyseren legt de 
proefopstelling de handelingen vast. Dat betreft zowel de handelingen van de begeleider van de 
testen als de handelingen van de proefpersoon. De handelingen van de begeleider die in worden 
gelogd zijn de ingevoerde instellingen. Van de proefpersoon wordt elke 'toetsaanslag' gelogd, 
zowel in geval van gebruik van het aanraakscherm als bij gebruik van een tactiele knop. 


4.4 Werkwijze 

Gekozen is voor een simulatie van een meervoudige verkiezing (dat wil zeggen dat op één 
moment meerdere verkiezingen worden gehouden). In casu is uitgegaan van een combinatie van 
lijstverkiezingen en een referendum. Hierbij is gebruik gemaakt van fictieve lijsten met fictieve 
kandidaten (21 lijsten met tussen 3-50 kandidaten) en van een fictieve referendum vraag ("Bent 
u voor of tegen de wet voor het bouwen van nieuwe kantoren naast het stadhuis?"). 

Er is expliciet voor gekozen om de proefpersonen opdrachten uit te laten voeren. De reden 
daarvoor is dat het oogmerk is om na te gaan de proefpersonen in staat zijn om zelfstandig een 
specifieke keuze te kunnen maken. 

Indien de proefpersonen een vrije keuze zou worden gegeven, zouden zij een willekeurige keuze 
kunnen maken. Achteraf zou dan weliswaar gevraagd kunnen worden welke keuze zij hadden 
willen maken om te beoordelen of dit ook gelukt is. Het is echter niet te bepalen of deze vraag 
naar waarheid beantwoord zal worden. De kans is groot dat men zegt de keuze te hebben willen 
maken die ook op het stembiljet staat. 

Een alternatief zou kunnen zijn om de proefpersonen vooraf te vragen welke keuzes zij zouden 
willen gaan maken op de simulatie van de stemprinter. Op deze manier gaat echter het geheugen 
van de kiezer een nog grotere rol spelen, dan in de variant waarin achteraf gevraagd wordt wat 
men heeft gedaan, aangezien zij de namen van lijsten en kandidaten die zij niet kennen moeten 
gaan onthouden. Dit is onwenselijk en zeker het geval bij meervoudige verkiezingen. 

Een tweede argument voor het laten uitvoeren van opdrachten is de mogelijkheid tot het kunnen 
beantwoorden van de onderzoeksvragen ten aanzien van de interactie met tabbladen 
(kandidatenscherm) en het blanco stemmen. Dit maakt het noodzakelijk om de proefpersonen 
specifieke opdrachten te geven. 

Alle deelnemers krijgen een opdracht om met behulp van de simulatie van de stemprinter 
bepaalde keuzes per verkiezing te maken en deze te controleren op het geprinte stembiljet. Het 
controleren van het geprinte stembiljet geldt uiteraard niet voor blinden. 
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Om te kunnen toetsen of de proefpersoon al dan niet in staat is om het huidige stembiljet correct 
in te vullen wordt aan alle proefpersonen gevraagd ook een keuze te maken op een simulatie 
papieren stembiljet voor dezelfde fictieve gemeenteraadsverkiezingen. Aanname hierbij is dat als 
proefpersonen 1 biljet met de keuze zoals gevraagd kunnen invullen, zij ook meerdere biljetten 
kunnen invullen. 

Het papieren stembiljet dat is gebruikt in de test voldoet wat de vormgeving betreft aan hetgeen 
de wet- en regelgeving daarover bepaalt. Op het papieren stembiljet zijn dezelfde fictieve lijsten 
en kandidaten vermeld als op de simulatie van de stemprinter. De te maken keuze is voor alle 
proefpersonen gelijk, te weten lijst 8, kandidaat 4. Dit is een keuze van gemiddelde 
moeilijkheidsgraad en is daarmee een graadmeter of proefpersonen in staat zijn het stembiljet in 
te vullen. De proefpersonen moeten hierbij enigszins zoeken (gemiddeld lijstnummer) en de te 
kiezen kandidaat staat midden tussen andere kandidaten (gemiddeld kandidaat nummer). 

Daarbij is het zoeken (en onthouden) ook weer niet te moeilijk, wat het geval zou zijn bij met 
name hoge kandidaat nummers. Tevens hebben de betreffende lijst en kandidaat namen die 
eenvoudig zijn te lezen en onthouden (geen moeilijke woorden, zodat dit geen obstakel vormt in 
het uitvoeren van de opdracht. 

De proefpersonen uit de groepen B2/ B3/ B4/ B5 gebruiken eerst de simulatie met alleen het 
aanraakscherm zonder tactiele knoppen en audio ondersteuning. Indien het de proefpersoon uit 
de groepen B2/ B3/ B4/ B5 in de eerste opdracht niet lukt om een stembiljet binnen de tijdslimiet 
te printen wordt een nieuwe sessie gestart met dezelfde opdracht en wordt, als extra interactie, 
auditieve ondersteuning (of in geval van B5 tactiele knoppen) aangeboden. Indien het dan ook 
niet lukt om een stembiljet te printen, stopt het. Indien het dan wel lukt, wordt de tweede 
opdracht ook met auditieve ondersteuning (of in het geval van B5 tactiele knoppen) aangeboden 
(Tabel 3). 


Groep 

Kenmerken 

Interactie 

Vervolgactie bij falen proefpersoon 

BI 

Blind 

Auditieve Interactie + knoppen 

geen 

B2 

Slechtziend 

Aanraakscherm 

Auditieve ondersteuning 

B3 

Laaggeletterden 

Aanraakscherm 

Auditieve ondersteuning 

B4 

Licht verstandelijk 
gehandicapt 

Aanraakscherm 

Auditieve ondersteuning 

B5 

Motorisch beperkt 

Aanraakscherm 

Tactiele knoppen 


Tabel 3 Aangeboden interacties per gebruikersgroep. 


4.4.1 Testcondities groep A 

Gebruikersgroep A doet twee sessies, namelijk: 

Sessie 1: Voert 3 opdrachten uit met de simulatie van de stemprinter: 

• 2 opdrachten voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing 

Sessie 2: Voert 1 opdracht uit op het huidige stembiljet. 

Voor het uitvoeren van opdrachten op de simulatie van de stemprinter zijn 3 varianten gemaakt 
waarbij elk van de varianten door een deel van groep A wordt gedaan. Dit om te voorkomen dat 
er onverwachte effecten optreden bij het testen met maar 1 variant door positie op het scherm, 
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vreemde naam, hoogte van nummer, etc. Om deze effecten zoveel mogelijk inzichtelijk te maken 
(en de daarmee optredende bias te voorkomen) worden er 2 vergelijkbare opdrachten gegeven 
(variant I en variant II). 

Daarnaast wordt om te toetsen of proefpersonen de 'blanco' toets kunnen vinden in Variant lil 
door een deel van de proefpersonen 'blanco' gestemd. 

In beide varianten I en II is voor de lijstverkiezing zowel een 'gemakkelijke' (tabl) als een 
'moeilijke' opdracht (tab2/tab3) opgenomen. Bij de 'gemakkelijke' opdracht kan de proefpersoon 
op het eerste blad blijven, terwijl voor de 'moeilijke' voor een ander tabblad gekozen moet 
worden. De bedoeling hiervan is om achteraf te kunnen bepalen of de tabbladen van invloed zijn 
op het resultaat. Voor variant lil komt de 'blanco' stem in plaats van de 'gemakkelijke' opdracht, 
om te toetsen of proefpersonen de 'blanco' knop op het scherm kunnen vinden. 

De drie varianten zijn: 

Variant I 

• Lijstverkiezing: Kies lijst 1 kandidaat 3 en kies lijst 13 kandidaat 25; 

• Referendumverkiezing: Kies voor. 

Variant II 

• Lijstverkiezing: Kies lijst 20 kandidaat 5 en kies lijst 2 kandidaat 43; 

• Referendumverkiezing: Kies voor. 

Variant lil 

• Lijstverkiezing: Kies blanco en kies lijst 13 kandidaat 25; 

• Referendumverkiezing: Kies voor. 



sessie 

middel 

variant 1 

variant 2 

variant 3 










sessie 1 

stemprinter 

lijst 1, 

kandidaat 3 

lijst 20, 

kandidaat 5 

blanco 



lijst 13, 

kandidaat 25 

lijst 2, 

kandidaat 43 

lijst 13, 

kandidaat 25 



referendum 

kies 'voor' 

referendum 

kies 'voor' 

referendum 

kies 'voor' 










sessie 2 

huidige stembiljet 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 









A 

geslacht 

leeftijd 

aantal 

proefpersonen 

aantal 

proefpersonen 

aantal 

proefpersonen 









1 

man 

18-40 

29 

30 

1 

60 

2 

41-60 

39 

40 

1 

80 

3 

61-80 

24 

25 

1 

50 

4 

81+ 

4 

5 

1 

10 








5 

vrouw 

18-40 

29 

30 

1 

60 

6 

41-60 

39 

40 

1 

80 

7 

61-80 

24 

25 

1 

50 

8 

81+ 

4 

5 

1 

10 









totaal 

groep A 

192 

200 

8 

400 


Tabel 4 Gewenste verdeling van proefpersonen in Groep A over testcondities. 
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Variant III wordt door acht proefpersonen, 1 uit iedere leeftijdscategorie van groep A 
uitgevoerd. Alle andere proefpersonen uit groep A voeren variant I (50%) of variant II (50%) uit. 

Voor een spreiding van de varianten over de steekproef bij Groep A worden leeftijd en geslacht 
als onafhankelijke variabelen meegenomen uit de reeks selectiecriteria uit 4.2.1 (leeftijd, 
geslacht, opleidingsniveau, stedelijkheid). In combinatie met de bepaalde steekproefgrootte en 
de geformuleerde selectiecriteria voor proefpersonen resulteert dit in het een overzicht van de 
verdeling van proefpersonen in groep A over de testcondities (Tabel 4). 

Om meer informatie over het uitvoeren van de opdrachten te krijgen worden vervolgens de 
volgende vragen gesteld: 

1/ Heeft u de stembiljetten gecontroleerd? 

• Indien wel gecontroleerd: Komt wat er op de stembiljetten staat overeen met wat u 
wilde kiezen? 

• Indien niet gecontroleerd: Waarom niet? 

2/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 


4.4.2 Testcondities groep B 

Groep B bestaat uit personen met een beperking. Gezien het verschil in aanpak tussen blinden en 
mensen met andere beperkingen worden deze hieronder apart besproken. 

Blinden 

In de auditieve interactie speelt de 'makkelijke' en 'moeilijke' opdracht niet, aangezien er niet 
gewerkt wordt met een tab-structuur, maar met een doorlopende lijst. Het maken van een 
opdracht voor 2 lijstverkiezingen is dus niet nodig. Bovendien zou dit problemen kunnen geven in 
het moeten onthouden van twee combinaties van (een fictieve) lijst en kandidaat. Daarom is 
gekozen voor 1 lijstverkiezing en het referendum. 

Aangezien het een gegeven is dat de groep Blinden het huidige (papieren) stembiljet niet kan 
invullen vervalt deze sessie. 

Dit resulteert in: 

Sessie 1: 

Voert 2 opdrachten uit met de simulatie van de stemprinter: 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing 

Om de opdracht uit te voeren op de simulatie van de stemprinter zijn er twee varianten, te 
weten: 

Variant I (50% van de groep) 

• Lijstverkiezing: Kies lijst 1 kandidaat 3; 

• Referendumverkiezing: Kies tegen. 

Variant II (50% van de groep) 

• Lijstverkiezing: Kies lijst 13 kandidaat 25: 

• Referendumverkiezing: Kies tegen. 
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Slechtzienden, laaggeletterden, licht verstandelijk beperkten, motorisch/fysiek beperkten 16 

Voor de overige B groepen is besloten sessie 1 eveneens te beperken tot de 2 lijstverkiezingen. 
Voor deze groepen speelt een mogelijk verschil in de 'makkelijke' en 'moeilijke' opdracht in 
relatie tot de 'tab-structuur' juist wel. 

Dit resulteert in: 

Sessie 1 

Voert 2 opdrachten uit met de simulatie van de stemprinter: 

Twee keuzes voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad. 

Sessie 2 

Voert 1 opdracht uit op het huidige stembiljet. 

Om de opdracht uit te voeren op de simulatie van de stemprinter zijn er twee varianten, te 
weten: 

Variant I (50% van elke subgroep) 

• Lijstverkiezing: Kies lijst 1 kandidaat 3 en kies lijst 13 kandidaat 25; 

Variant II (50% van elke subgroep) 

• Lijstverkiezing: Kies lijst 20 kandidaat 5 en kies lijst 2 kandidaat 43; 

Bij Groep B zijn de onafhankelijke variabelen: Blindheid, Slechtziendheid, Laaggeletterdheid, Licht 
Verstandelijke beperking, Motorische/ fysieke beperking. In combinatie met de bepaalde 
steekproefgrootte resulteert dit in het volgende overzicht van de verdeling van proefpersonen 
met een beperking over de testcondities (Tabel 5). 



sessie 

middel 

variant IA 

variant 2A 

variant 2 

variant 3 











sessie 1 

stemprinter 

lijst 1 

kandidaat 3 

lijst 13 

kandidaat 25 

lijst 1 

kandidaat 3 

lijst 20 

kandidaat 5 



referendum 

kies 'tegen 

referendum 

kies 'tegen 

lijst 13, 

kandidaat 25 

lijst 2, 

kandidaat 43 











sessie 2 

huidige stembiljet 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 










B 


beperking 

aantal 

proefpersonen 

aantal 

proefpersonen 

aantal 

proefpersonen 

aantal 

proefpersonen 










1 


blinden 

15 

15 



30 

2 


slechtzienden 



15 

15 

30 

3 


laaggeletterden 



15 

15 

30 

4 


licht verstandelijk 
gehandicapten 



15 

15 

30 

5 


Motorisch/ fysiek 
beperkten 



15 

15 

30 










totaal 

totalen groep B 

15 

15 

60 

60 

150 


Tabel 5 Verdeling van proefpersonen in Groep B over testcondities. 


Uiteindelijk heeft er geen test plaatsgevonden met de groep motorisch/fysiek beperkten (zie hoofdstuk 

6 ). 
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Vragen groepen B 

Om meer informatie over het uitvoeren van de opdracht te krijgen worden vervolgens de 
volgende vragen gesteld: 

BI/ Blinden 

1/ Begreep u de werking van de knoppen? 

• Indien niet: Waarom niet? 

2/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 


62 / Slechtzienden 

1/ Heeft u de stembiljetten gecontroleerd? 

• Indien wel gecontroleerd: Komt wat er op de stembiljetten staat overeen met wat u 
wilde kiezen? 

• Indien niet gecontroleerd: Waarom niet? 

2/ Was voor u wat er op het scherm stond te lezen? 

• Zo nee: Wat kon u niet lezen? 

3/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 

Indien auditieve ondersteuning: 

4/ Vond u het maken van de keuzes en het printen van de stembiljetten met de gesproken hulp: 
makkelijk, moeilijk of neutraal? 

• Indien moeilijk: Waarom moeilijk? 


B3/ Laag geletterden 

1/ Heeft u de stembiljetten gecontroleerd? 

• Indien wel gecontroleerd: Komt wat er op de stembiljetten staat overeen met wat u 
wilde kiezen? 

• Indien niet gecontroleerd: Waarom niet? 

2/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 

3/ Heeft u de logo's en/ of de foto's gebruikt om te zoeken op wie u een keuze wilde maken? 

• Indien niet: waarom niet? 

Indien auditieve ondersteuning: 

4/ Vond u het maken van de keuzes en het printen van de stembiljetten met de gesproken hulp: 
makkelijk, moeilijk of neutraal? 

• Indien moeilijk: Waarom moeilijk? 
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B4/ Licht Verstandelijk Gehandicapten 

1/ Heeft u de stembiljetten gecontroleerd? 

• Indien wel gecontroleerd: Komen de geprinte stembiljetten overeen met uw keuzes? 

• Indien niet gecontroleerd: Waarom niet? 

2/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 

3/ Heeft u de logo's en/ of de foto's gebruikt om te zoeken op wie u een keuze wilde maken? 

• Indien niet: waarom niet? 

Indien auditieve ondersteuning: 

4/ Vond u het maken van de keuzes en het printen van de stembiljetten met de gesprokenhulp: 
makkelijk, moeilijk of neutraal? 

• Indien moeilijk: Waarom moeilijk? 


B5/ Motorisch beperkt 

1/ Heeft u de stembiljetten gecontroleerd? 

• Indien wel gecontroleerd: Komen de geprinte stembiljetten overeen met uw keuzes? 

• Indien niet gecontroleerd: Waarom niet? 

2/ Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 

• Indien moeilijk: Waarom moeilijk? 

Indien tactiele knoppen gebruikt: 

3/ Vond u het maken van de keuzes en het printen van de stembiljetten met de knoppen 
makkelijker, even makkelijk of moeilijker dan met het aanraakscherm? 

• Indien moeilijker: Waarom moeilijker? 

4/ Begreep u de werking van de knoppen? 

• Indien niet: Waarom niet? 


4.5 De testprocedure 

De test zelf is niet uitgevoerd door de TUD maar door het ministerie van BZK. Het ministerie van 
BZK heeft een externe partij opdracht gegeven de test te organiseren en de resultaten vast te 
leggen. In deze paragraaf wordt samengevat een beschrijving gegeven van de testprocedure. 

4.5.1 Registratie en configuratie 

Registratie 

De proefopstelling genereert een sessienummer per proefpersoon (op het scherm aangegeven 
als proefpersoon volgnummer). De testbegeleider noteerde het sessienummer op het 
zogenaamde observatieformulier. 

Proefopstelling configuratie 

Met behulp van een instellingenscherm (Figuur 24) kan de testbegeleider voor de proefpersoon 
de gewenste interactie instellen. 
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Instellingen Simulatie Stemprinter 


Proefpersoon volgnummer: A_### 



Aanraakscherm Groep A 


Aanraakscherm Groep B 

Verkiezing + Verkiezing + Referendum 


Verkiezing + Verkiezing 


Fysieke knoppen Groep B 

Verkiezing + Verkiezing 


Auditieve interactie Groep B 
Verkiezing + Referendum 


Figuur 24 Instellingenscherm waarmee de simulatie van een specifieke interactie gestart kan worden. 


4.5.2 Start scherm 

Het eerste scherm van de simulatie is het scherm met daarop de tekst "Start" (Figuur 25). Dit 
scherm komt in de simulatie voor: 

1. Als een nabootsing van de door de commissie Van Beek aanbevolen activering. 

2. Omdat door het indrukken van de knop 'start' er een duidelijk moment wordt 
gemarkeerd wanneer de gebruiker aan het stemproces begint. Dit is gebruikt bij de 
analyse van de testen. 



Figuur 25 Op het startscherm kan de simulatie door de proefpersoon worden gestart. 

Zoals eerder gesteld heeft de test tot doel om na te gaan of de aanname juist is dat het stemmen 
door gebruik te maken van een stemprinter toegankelijker wordt voor de kiezers. Gelet daarop is 
het nodig om te bepalen wanneer, gedurende de uitvoering van de test, geconstateerd zou 
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moeten worden of de proefpersoon wel of niet in staat is de testopdrachten uit te voeren. Om 
daar invulling aan te geven is vastgesteld dat: 

• Proefpersoon in groep A niet in staat is om zelfstandig een keuze te maken als hij/ zij 
langer dan 10 minuten over de totale sessie doet. 

• Proefpersoon in groep B niet in staat is om zelfstandig een keuze te maken als hij/ zij 
langer dan 15 minuten over de totale sessie doet. 

• Als een proefpersoon meldt dat de simulatie niet goed werkt of vastloopt, wordt de 
sessie gestopt. De proefpersoon wordt dan verzocht de sessie opnieuw uit te voeren. 

• Als de simulatie/ printer vastloopt wordt er een nieuwe sessie gestart, met een nieuw 
sessienummer. Wanneer er een onderbreking is door een technische oorzaak heeft de 
tijdswaarneming van de onderbroken sessie geen waarde. Het nieuwe sessienummer 
dient aan het observatieformulier toegevoegd te worden. 

• Indien de proefpersoon constateert (al dan niet terecht) dat het geprinte biljet niet 
klopt, krijgt hij/zij nog eenmaal de kans de betreffende opdracht opnieuw uit te voeren. 

Om de tijdsduur vast te stellen is bepaald dat: 

• De tijdregistratie start als de proefpersoon op de start knop op het start scherm drukt. 

• De tijdregistratie wordt gestopt als de proefpersoon voor de laatste keer in de 
betreffende sessie op de knop 'klaar met controleren' drukt. 

• Als een proefpersoon de sessie niet afmaakt, de simulatie wordt gestopt door de 
testbegeleider door middel van het oproepen van het instelscherm. De klok wordt dan 
stopgezet. 


4.5.3 Testprotocol 

Voor de test is in opdracht van het ministerie van BZK een testprotocol opgesteld.. 17 


4.5.4 Rapportage van de testresultaten 

De resultaten van de test zijn verwerkt in een Excel-bestand dat aan TUD ter beschikking is 
gesteld. Het Excel-bestand bevat: 

• Geanonimiseerd overzicht van de proefpersonen uit gebruikersgroep A (met vermelding 
van leeftijdscategorie, stedelijkheid, opleidingsniveau, geslacht); 

• Geanonimiseerd overzicht van de proefpersonen uit gebruikersgroep B, uitgesplitst naar 
type beperking (met vermelding van leeftijd(scategorie), geslacht); 

• Overzicht van de gemaakte keuzes op de geprinte stembiljetten en op het huidige 
stembiljet; 

• Overzicht van de door de tester ingevulde data op de dataformulieren. 

De TUD heeft dit Exel-bestand gebruikt voor het maken van dit rapport. De TUD heeft zelf de 
logbestanden van de proefopstellingen geanalyseerd en die analyse gebruikt bij het maken van 
dit rapport. Tevens is gebruik gemaakt van de dataformulieren van de test, in het geval dit nodig 
was om de gegevens uit het Excel-bestand en/of de logbestanden van de proefopstellingen te 
analyseren en/of interpreteren. 


Het testprotocol is een bijlage bij het Rapport 'Het organiseren van een test in het kader van het 
kabinetsstandpunt over het advies van de commissie 'Elektronisch stemmen in het stemlokaal' van 7 
augustus 2014. 
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4.6 Toetsingskader 


Het gehanteerde toetsingskader is als volgt: 

1/ Toetsing simulatie stemprinter 

Onderzoeksvraag: 'Is de proefpersoon in staat om zelfstandig een stem uit te brengen met de 
simulatie van een stemprinter bij meervoudige verkiezingen': 

Criterium: Ja, indien de proefpersoon in staat is om alle opdrachten correct uit te 
voeren. 

Onderzoeksvraag: 'Vormt de gekozen tabbladen systematiek voor het weergeven van de 
kandidaten in de simulatie van de stemprinter een belemmering bij het bedienen van de 
stemprinter?' 

Criterium: Nee, indien de proefpersoon in staat is om de opdracht voor een kandidaat o 
p tabblad 2 of 3 correct uit te voeren. 

Onderzoeksvraag: 'Zijn proefpersonen in staat om blanco te stemmen?' 

Criterium: Ja, indien de proefpersoon in staat is om de opdracht 'stem blanco' correct uit 
te voeren. 


2/ Toetsing huidige stembiljet 

Onderzoeksvraag: 'Is de proefpersoon in staat om met het huidig stembiljet te stemmen'? 

Criterium: Ja, indien de proefpersoon in staat is om de opdracht correct uit te voeren. 
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5 

Testresultaten simulatie 
stemprinter Groep A: huidige 

kiezer 


In dit hoofdstuk worden de resultaten van de test met de simulatie van de stemprinter door groep 
A beschreven en geanalyseerd. 


5.1 Gerealiseerde verdeling van proefpersonen 


De proefpersonen zijn in opdracht van het ministerie van BZK geworven. Het ministerie van BZK 
heeft een externe partij opdracht gegeven de werving uit te voeren. Over de werving heeft 
afstemming plaatsgevonden met de TUD. 

Ten aanzien van de geformuleerde selectiecriteria (zie paragraaf 4.2) geldt: 

1/ Alle proefpersonen hebben vooraf verklaard in 2014 zelfstandig gestemd te hebben voor de 
verkiezing van de leden van de gemeenteraden en/ of de leden van het Europees Parlement. 

2/ De verdeling van geslacht is voldoende evenredig (binnen de marge): 

• deelgenomen mannen: 195 (48%) 

• deelgenomen vrouwen: 212 (52%) 

3/ Er is een kleine oververtegenwoordiging van de leeftijdscategorie 60-80 (gewenst 25%). 
Verder alles binnen de marge. 


• 18-40 jaar 

118 proefpersonen 

( 29%) 

• 40-60 jaar 

154 proefpersonen 

( 38%) 

• 60-80 jaar 

115 proefpersonen 

( 28%) 

• 80+jaar 

20 proefpersonen 

( 5%) 


407 

(100%) 


4/ Opleidingsniveau: 

• 28% van de proefpersonen (116) heeft als hoogst genoten opleidingsniveau lager 
onderwijs. Dit valt iets (0,5%) onder de marge (gewenst minimaal 30%). 

• 34% van de proefpersonen (139) heeft als hoogst genoten opleidingsniveau hoger 
onderwijs. 
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5/ Regionale spreiding: Landelijk gebied is meer dan marge ondervertegenwoordigd. 

• 58% van de proefpersonen (236) komt uit stedelijk gebied (gewenst minimaal 50%). 

• 24% van de proefpersonen (98) komt uit landelijk gebied (gewenst minimaal 30%). 



sessie 

middel 

variant 1 

variant 2 

variant 3 










sessie 1 

stemprinter 

lijst 1, 

kandidaat 3 

lijst 20, 

kandidaat 5 

blanco 



sessie 1 

stemprinter 

lijst 13, 

kandidaat 25 

lijst 2, 

kandidaat 43 

lijst 13, 

kandidaat 25 



sessie 1 

stemprinter 

referendum 

kies 'voor' 

referendum 

kies 'voor' 

referendum 

kies 'voor' 










sessie 2 

huidig stembiljet 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 









A 

geslacht 

leeftijd 

Aantal 

proefpersonen 

Aantal 

proefpersonen 

Aantal 

proefpersonen 









1 

man 

18-40 

33 

31 

1 

65 

2 

man 

41-60 

25 

34 

4 

63 

3 

man 

61-80 

28 

29 

2 

59 

4 

man 

81+ 

4 

3 

1 

8 








5 

vrouw 

18-40 

25 

27 

1 

53 

6 

vrouw 

41-60 

45 

45 

1 

91 

7 

vrouw 

61-80 

28 

28 

0 

56 

8 

vrouw 

81+ 

7 

5 

0 

12 










groep A 

195 

202 

10 

407 


Tabel 6 geeft de gerealiseerde verdeling van de proefpersonen over de verschillende 
testcondities. 



sessie 

middel 

variant 1 

variant 2 

variant 3 










sessie 1 

stemprinter 

lijst 1, 

kandidaat 3 

lijst 20, 

kandidaat 5 

blanco 



sessie 1 

stemprinter 

lijst 13, 

kandidaat 25 

lijst 2, 

kandidaat 43 

lijst 13, 

kandidaat 25 



sessie 1 

stemprinter 

referendum 

kies 'voor' 

referendum 

kies 'voor' 

referendum 

kies 'voor' 










sessie 2 

huidig stembiljet 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 

lijst 8 

kandidaat 4 









A 

geslacht 

leeftijd 

Aantal 

proefpersonen 

Aantal 

proefpersonen 

Aantal 

proefpersonen 









1 

man 

18-40 

33 

31 

1 

65 

2 

man 

41-60 

25 

34 

4 

63 


56 

















































3 

man 

61-80 

28 

29 

2 

59 

4 

man 

81+ 

4 

3 

1 

8 








5 

vrouw 

18-40 

25 

27 

1 

53 

6 

vrouw 

41-60 

45 

45 

1 

91 

7 

vrouw 

61-80 

28 

28 

0 

56 

8 

vrouw 

81+ 

7 

5 

0 

12 










groep A 

195 

202 

10 

407 


Tabel 6 Gerealiseerde verdeling van proefpersonen in Groep A over testcondities. 


Uit bovenstaande data en tabel blijkt dat de gerealiseerde verdeling van proefpersonen 
voldoende representatief is voor de kiesgerechtigden Nederlanders. Daarbij zijn de 
proefpersonen op een goede manier verdeeld over de testcondities. 
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5.2 Effectiviteit van het stemproces 


De meervoudige verkiezing voor groep A bestond uit 3 opdrachten; 

2 lijstverkiezingen en 1 referendum. De resultaten worden besproken aan de hand van de 
volgende drie onderzoeksvragen: 

• Onderzoeksvraag 1: Toegankelijkheid 

• Onderzoeksvraag 2: Tabbladen 

• Onderzoeksvraag 3: Blanco stemmen 

5.2.1 Onderzoeksvraag 1 

In totaal hebben 407 personen deelgenomen aan de test met de simulatie stemprinter. Tabel 7 
geeft een overzicht van het aantal deelnemers ingedeeld in drie subgroepen: 

• Subgroep 1 (93%) heeft alle opdrachten goed uitgevoerd. 

• Subgroep 2 (5%) heeft niet alle opdrachten goed uitgevoerd, maar wel 3 stembiljetten 
geprint. 

• Subgroep 3 (2%) heeft 2, 1 of geen stembiljetten geprint. 


Subgroep 

Aantal stembiljetten 
geprint 

Omschrijving van het resultaat 

Aantal 

personen 

Optelling per 
subgroep 

% 

1 

3 

Alle opdrachten goed uitgevoerd 

378 

378 

93% 

2 

3 

le tab en 2e tab goed 

4 

21 

5% 

le tab en referendum goed 

2 

2e tab en referendum goed 

3 

2e tab goed 

2 

Referendum goed 

4 

Alle opdrachten foutief uitgevoerd 

6 

3 

2 

le tab goed 

2 

8 

2% 

1 

le tab goed 

2 

le tab fout 

1 

0 

Niets geprint 

3 

Totaal 

407 

100% 


Tabel 7 Indeling van groep A naar het aantal geprinte stembiljetten. 


Onderstaand een verdere analyse van de 3 subgroepen: 

Subgroep 1: Heeft 3 stembiljetten goed geprint. Deze groep bestaat uit: 

378 personen (93%) 

360 personen hebben aangegeven het bedienen van de simulatie 'makkelijk' te vinden. 

14 personen hebben het uitvoeren van opdrachten beoordeelt met 'neutraal'. In de logdata zijn 
geen afwijkende patronen te vinden in de bediening van de simulatie. Er zijn twee opmerkingen 
gemaakt: 

• 'Als je het eenmaal weet, gaat het wel makkelijk. Beter dan grote vellen met potlood, 
dus vooruitgang.' 

• 'Je moet goed kijken als je een hoog nummer moet kiezen.' 
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4 personen zeiden dat zij het uitvoeren van de opdrachten 'moeilijk' te vinden. In de logdata is 
geen afwijkende patronen te vinden in de bediening van de simulatie. 

Bij 3 personen zijn de volgende commentaren genoteerd: 

• 'Proefpersoon ging zoeken op nummer en moest langer zoeken dan verwacht. Ze vond 
het moeilijker dat de nummers ook naast elkaar stonden, "normaal kijk je op een lange 
lijst".' 

• 'Op moment dat je ja hebt kan je niet meer terug.' 

• 'Aan ra ken werkt niet, reageert niet. Glijden doet het wel.' 

Persoon 1 en 2 vinden specifieke onderdelen van de grafische interface lastig. 

Persoon 3 heeft problemen ondervonden met het aanraakgevoelige scherm, niet duidelijk is wat 
deze persoon precies heeft gedaan, bijvoorbeeld meerdere vingers gebruikt, of dat het ligt aan 
de fysieke eigenschappen van het scherm. 

Subgroep 2: Heeft 3 stembiljetten geprint, maar niet alles goed. Deze groep bestaat uit: 

21 personen (5%) 

4 personen hebben de opdrachten voor beide lijstenverkiezingen goed uitgevoerd, maar voor het 
referendum niet. Van deze groep was 1 persoon 'zich ervan bewust dat hij tegen heeft gekozen'. 
Een ander vond het 'werken met scherm moeilijk, computers moeilijk en heel zenuwachtig'. De 
laatste 2 personen hadden het stembiljet alleen gecontroleerd op het beeldscherm en verder 
geen commentaar gegeven op hun keuze. 

Wat opvalt is dat zij regelmatig de terug knop hebben gebruikt in het eind scherm of vlak nadat 
zij een verkiezing waren gestart. 

4 personen hebben een fout gemaakt in de eerste opdracht. Ze hebben alle 4 gekozen voor lijst 3 
in plaats van lijst 1. Drie van hen kozen daarna ook voor kandidaat 3 (volgens opdracht), de ander 
voor kandidaat 1. 

Van deze 4 personen maakte er twee een opmerking over deze keuze: 

• 'Proefpersoon kon Blauw niet vinden, daarom andere kandidaat gekozen.' 

• 'Het was wel persoon 3 maar met andere omschrijving, voordat biljet eruit kwam al 
gezien dat het niet klopte maar drukte toch op de knop. Bij kiezen stond proefpersoon 
zich meer te concentreren op vraag dan op opdracht. Proefpersoon was tegen de vraag.' 

In de logdata zijn geen afwijkende patronen te vinden in de bediening van de simulatie. 

2 personen hebben de eerste lijstverkiezing en het referendum goed uitgevoerd. Een van deze 
personen heeft bij de tweede lijstverkiezing de eerste opdracht herhaald. De andere persoon had 
de juiste lijst gekozen, maar de verkeerde kandidaat. Deze persoon is zich er bewust van en 'zegt 
dat hij per ongeluk een verkeerde keuze heeft gemaakt. Zegt niet welke fout hij heeft gemaakt, en 
wil geen nieuwe sessie doen.' 

In de logdata zijn geen afwijkende patronen te vinden in de bediening van de simulatie. 

1 persoon heeft alleen een verkeerde kandidaat gekozen voor de eerste lijstverkiezing. Uit de 
logdata blijkt dat zij eerst de juist kandidaat (3) had geselecteerd, maar dit heeft veranderd in 
kandidaat 13. Het is niet duidelijk waarom zij dit heeft gedaan. 

4 personen hebben alleen het referendum goed. 2 personen vonden het niet makkelijk: 

• Moeilijk: 'Erg moeten zoeken op scherm, waar moet ik drukken? (ik zat op hete kolen, ik 
moet zo weg naar andere dingen).' 

• Neutraal: 'Moeilijk omdat je de persoon niet kent. Proefpersoon heeft zelf een keuze 
gemaakt, niet de opdracht gevolgd.' 
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6 personen hebben geen van de opdrachten goed uitgevoerd. 1 persoon van de groep geeft 
commentaar waarom het stembiljet niet overeen kwam met de keuze: 'Niet helemaal, ik had een 
partij gekozen, maar toen kreeg ik een andere partij'. 

In de logdata zijn geen grote afwijkingen te zien in de bediening van de simulatie. 2 Personen 
hebben halverwege op 'Stoppen' gedrukt, maar zijn daarna teruggegaan naar het 
verkiezingenoverzicht en verder gegaan met de opdrachten. 

Subgroep 3: Heeft 2,1 of geen stembiljet(ten) geprint. Deze groep bestaat uit: 

8 personen (2%) 

2 personen uit deze groep hebben 2 stembiljetten geprint, daarvan was er elke keer maar 1 goed 
uitgevoerd. Deze personen zijn 90 en 91 jaar oud. Beiden hebben aangegeven het moeilijk te 
vinden. Als reden gaven zij: 

• 'Niet duidelijk omdat het niet haar keuze was.' 

• 'Volgorde verkeerd gedaan, 'terug' optie werkte niet.' 

Als reden waarom zij niet alles hadden geprint gaven zij op: 

• 'Was het beu.' 

• 'Fout gemaakt (maar weet niet meer waarom) Proefpersoon is niet gewend met dit soort 
apparaten te werken.' 

Beide personen hebben zonder omwegen twee verkiezingen uitgevoerd. De persoon die de zegt 
dat de terug knop niet werkte, heeft deze 2 keer gebruikt nadat hij tot twee keer toe op 
'Stoppen' had gedrukt. 

3 personen hebben 1 stembiljet geprint. Van deze groep had 1 persoon moeite om het 
aanraakscherm te bedienen: 

• 'De computer/ het beeldscherm bleef staan. De vinger schoongemaakt. Hielp 
niet. Wel gewend om computer te werken. Proefpersoon denkt dat hij het 
niet doet 'het aanraken gaat niet' (drukt hard met duim).' 

Deze persoon heeft het stembiljet voor de eerste lijstverkiezing geprint, 
maar niet op 'klaar met controleren' gedrukt. Door te drukken met de duim 
werkte het aanraakscherm mogelijk niet goed. 

Een ander heeft zich niet aan de opdracht gehouden: 

• 'Belangrijkste keuze gemaakt, uitgeprobeerd wat ze zelf zou stemmen, zag 
het als een oefening van hoe zij later kan stemmen.' 

Deze persoon heeft na de eerste lijstverkiezing op Einde gedrukt en kon 
waarschijnlijk in dit scherm de terug knop niet vinden. Daarna is de sessie 
afgebroken. 

De laatste persoon kon de terug-knop niet vinden: 

• 'Proefpersoon meldde zich te hebben vergist op het scherm, wist niet hoe 
terug te gaan op het scherm. Sessie is afgebroken.' 

Deze persoon had al een verkeerde keuze gemaakt voor het referendum 
(tegen) en wilde deze mogelijk corrigeren. 

3 personen hebben niets geprint. Van deze groep kon 1 persoon de start knop niet vinden en is 
niet gestart. 1 persoon heeft wel de juiste lijst en kandidaat gekozen, maar is niet tot printen 
gekomen. De laatste persoon heeft een keuze gemaakt voor lijst 5 en kandidaat 1, daarna is de 
sessie afgebroken omdat ze hulp heeft gevraagd. Volgens haar 'kon ze er niet uitkomen, drukte 
ergens op kwam er niet uit, ingewikkeld.' 
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Samengevat 

De overgrote meerderheid heeft de opdrachten (of een deel daarvan) correct uitgevoerd. Er 
kunnen enkele constateringen worden gemaakt over de proefpersonen die stembiljetten hebben 
geprint waarop een keuze staat die niet overeenkomt met de gegeven opdracht: 

• Relatief veel personen hebben een keuze gemaakt voor de referendumvraag die anders 
is dan de gegeven opdracht. Zij zijn afgeweken van de opdracht ('voor') terwijl zij de 
opdrachten voor de lijstverkiezingen wel correct hadden uitgevoerd. Een aantal 
personen was zich hier achteraf ook bewust van. 

• Een aantal personen die een verkeerde lijst had gekozen en de kandidaat vervolgens 
niet kon vinden, had niet door dat ze een verkeerde lijst aan het zoeken waren. Een 
aantal personen zegt moeite te hebben met het aanraakscherm. 

In het kader van de effectiviteit van het stemproces is het ook van belang hoe proefpersonen zijn 
omgegaan met het controleren van de geprinte stembiljetten: 

Heeft u de stembiljetten gecontroleerd? 


Ja 

375 

Nee 

28 

Geen data 

4 


Totaal 407 


Waarom heeft u de stembiljetten niet gecontroleerd? 

27 personen hebben gezegd een of meerdere stembiljetten niet te hebben gecontroleerd. Daar 
worden verschillende redenen voor gegeven: 

• 17 personen dachten dat het wel goed is of vertrouwden op de computer. 

• 4 personen zeggen dat ze het scherm hebben gecontroleerd. 

• 3 personen zeggen dat ze het in het echt wel zouden doen. 

• 2 personen zeggen dat het niet in hen op was gekomen. 

• 1 persoon 'durfde er niet aan te komen'. 

Komt wat er op de stembiljetten staat overeen met wat u wilde kiezen? 


Ja 

372 

Nee 

3 

Geen data 

32 

Totaal 

407 


3 personen zeggen dat hun stembiljetten niet overeen komen met hun opdracht. Zij gaven aan 
zelf iets gekozen te hebben of het uitvoeren van de opdracht ging niet helemaal goed. 

Van de 29 proefpersonen die niet alle drie de opdrachten goed hebben uitgevoerd: 

• zeggen 18 personen dat er de stembiljetten overkomen met hun keuze. 

• zeggen 3 personen dat de stembiljetten niet overkomen met hun keuze. 

• overige 8 personen hebben stembiljetten niet gecontroleerd. 
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Vergelijking resultaten simulatie stemprinter en huidige stembiljet 


Groep A 

Huidige stembiljet 


Niet correct 

Correct 

Totaal 

Simulatie 

Stemprinter 

3 stembiljetten geprint en correct 

3 

375 

378 

3 stembiljetten geprint niet alle 
correct 

3 

18 

21 

2, 1 of 0 stembiljetten geprint 

4 

4 

8 


Totaal 

10 

397 

407 


Tabel 8 Groep A: vergelijking resultaten simulatie stemprinter en huidige stembiljet. 


Resultaten simulatie stemprinter verdeeld naar achtergrond proefpersonen. 


Achtergrond 

totaal 

drie opdrachten correct 

drie stembiljetten geprint 



aantal proefpersonen 

% 

aantal proefpersonen 

% 







Leeftijdscategorie 






18-40 

118 

118 

100% 

118 

100% 

41-60 

154 

148 

96% 

154 

100% 

61-70 

89 

82 

92% 

88 

99% 

71-80 

26 

22 

85% 

26 

100% 

80+ 

20 

8 

40% 

13 

65% 

totaal 

407 

378 

93% 

399 

98% 







Opleidingsniveau 






Lager 

116 

94 

81% 

110 

95% 

Middelbaar 

152 

145 

95% 

150 

99% 

Hoger 

139 

139 

100% 

139 

100% 

totaal 

407 

378 

93% 

399 

98% 







Regionale spreiding 






Stedelijk gebied 

236 

216 

92% 

231 

98% 

Klein stedelijk gebied 

73 

68 

93% 

70 

96% 

Landelijk gebied 

98 

94 

96% 

98 

100% 

totaal 

407 

378 

93% 

399 

98% 







Geslacht 






Man 

195 

184 

94% 

193 

99% 

Vrouw 

212 

194 

92% 

206 

97% 

totaal 

407 

378 

93% 

399 

98% 


Tabel 9: Groep A: resultaten simulatie stemprinter verdeeld naar achtergrond proefpersonen. 


Slechts 40% van de proefpersonen van 81 jaar en ouder is in staat alle 3 de opdrachten correct 
uit te voeren (65% print 3 stembiljetten). Dit zijn 8 van in totaal 20 proefpersonen van 81 jaar en 
ouder. Van de overige 12 personen van 81 jaar en ouder, die niet in staat zijn om alle drie de 
opdrachten correct uit te voeren, hebben 5 ook het huidige stembiljet niet correct ingevuld. Van 
de andere 7 personen die het huidige stembiljet wel correct hebben ingevuld, zijn er 5 personen 
die de eerste lijstverkiezing goed hadden en daarna zijn gestopt. De overige 2 hadden alleen het 
referendum goed. 
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5.2.2 Onderzoeksvraag 2: Tabbladen 

'Vormt de gekozen tabbladen systematiek voor het weergeven van de kandidaten in de simulatie 
van de stemprinter een belemmering bij het bedienen van de stemprinter?' 

Criterium: Nee, indien de proefpersoon in staat is om de opdracht op tabblad 2 of 3 juist uit te 
voeren. 

Er zit nagenoeg geen verschil in het correct uitvoeren van een opdracht zonder tabblad of met 
tabblad. Tabel 10 laat zien dat er 9 personen zijn die niet beide lijstverkiezingen goed hebben 
uitgevoerd. Deze groep is nagenoeg gelijk verdeeld over het l e tabblad en het 2 e of 3 e tabblad. 
Om een vergelijking te kunnen maken is er alleen gekeken naar de personen die in ieder geval 
beide lijstverkiezingen zijn gestart (401 van de 407 personen). 


Beide opdrachten niet correct 

10 

Alleen opdracht l e tab correct 

4 

Alleen opdracht 2 e of 3 e tab correct 

5 

Beide opdrachten correct 

382 

Totaal 

401 


Tabel 10 Aantal personen die in staat zijn om een opdracht voor een lijstverkiezing correct uit te voeren. 


5.2.3 Onderzoeksvraag 3: Blanco stemmen 

'Zijn proefpersonen in groep A in staat om blanco te stemmen?' 

Criterium: Ja, indien de proefpersoon in staat is om de keuze 'stem blanco' juist uit te voeren. 

Er zijn 10 proefpersonen die deze opdracht hebben gekregen; 9 van hen voerden keuze 'stem 
blanco' juist uit. De andere persoon heeft ook de lijstverkiezing en het referendum niet in kunnen 
vullen. 


5.3 Tijdsduur van het stemproces 

Voor het bepalen van de gemiddelde tijdsduur van het gehele meervoudige stemproces en de 
verschillende verkiezingen is uitgegaan van een selectie van de proefpersonen die 3 stembiljetten 
hebben geprint én op de laatste 'klaar met controleren' knop hebben gedrukt. Van de 407 
proefpersonen zijn dit er 331. Een deel van de proefpersonen die drie stembiljetten hebben 
geprint (68 van de 399) heeft dit namelijk niet gedaan. Deze data zijn niet meegenomen, omdat 
deze geen betrouwbare eindtijd van de sessie garanderen. 

Alle onderstaande gemiddelde tijden zijn van deze groep deelnemers (Tabel 11). 

De gemiddelde totaaltijd van de eerste 'start' knop tot de laatste 'klaar met controleren' knop is 
108 seconden. Er is een klein verschil tussen de opdracht met en de opdracht zonder tab. 
Deelnemers drukken sneller op de 'klaar met controleren' knop naarmate ze verder in het proces 
komen. 



le lijstverkiezing 

2e lijstverkiezing 

Referendum 

Totaal 

zonder tab 

met tab 



van 'Start' / 'klaar met controleren' tot 'start verkiezing' 

5 

2 

1 


van 'start verkiezing' tot 'print stembiljet' 

19 

21 

6 


van 'print stembiljet' tot 'klaar met controleren' 

21 

17 

16 



45 

40 

23 

108 


Tabel 11 Groep A: Gemiddelde tijden (sec) van 331 deelnemers die 3 stembiljetten hebben geprint én op de 
laatste 'klaar met controleren' knop hebben gedrukt. 
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5.4 Tevredenheid van kiezer met stemproces 


Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of neutraal? 


Moeilijk 

8 

Makkelijk 

377 

Neutraal 

17 

Geen data 

5 

Totaal 

407 


Vervolgvraag: Waarom moeilijk? 

Van de personen die het moeilijk vonden hebben er 4 alle opdrachten goed uitgevoerd. De 
andere 4 hebben verschillende fouten gemaakt. In geen van de categorieën zijn aanwijzingen te 
vinden dat het om een specifieke groep gaat. 

Waarom heeft u niet alle stembiljetten geprint? 

Er worden verschillende redenen gegeven waarom een aantal personen (7) niet alles heeft 
geprint: 

• 'fout gemaakt (maar weet niet meer waarom) proefpersoon is niet gewend met dit soort 
apparaten te werken' 

• 'was het beu' 

• 'de computer/het beeldscherm bleef staan. De vinger schoongemaakt. Hielp niet. Wei 
gewend om computer te werken' 

• 'kan startknop niet vinden' 

• 'kon er niet uitkomen, drukte ergens op kwam er niet uit, ingewikkeld' 

• 'Belangrijkste keuze gemaakt, uitgeprobeerd wat ze zelf zou stemmen, zag het als een 
oefening van hoe zij latere kan stemmen' 

• 'Technische storing van printer' 

Een mogelijke overeenkomst is dat deze personen de simulatie niet goed begrepen. 6 van de 7 
personen behoren tot de leeftijdscategorie 81+, 1 persoon is 60 jaar. 
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Testresultaten simulatie 
stemprinter groep B: kiezers 

met beperkingen 

In dit hoofdstuk worden de resultaten van de test met de simulatie van de stemprinter door de 
verschillende groepen B beschreven en geanalyseerd. 

De test is in opdracht van BZK uitgevoerd door een onderzoeksbureau, op basis van de testopzet 
zoals beschreven in hoofdstuk 4. De resultaten van de test zijn door de TUD geanalyseerd. 


6.1 Gerealiseerde verdeling van proefpersonen 


Voor de groep Motorisch/ Fysiek beperkten bleek het vinden van proefpersonen moeilijk te zijn. 
Allereerst bleek het voor de TUD niet mogelijk te zijn om een eenduidige definitie van deze 
doelgroep te geven. Daarnaast waren er geen ingangen waarlangs het mogelijk was om 
wervingsactiviteiten uit te voeren. Verder rezen er twijfels over de geschiktheid van de interface 
en de knoppensystematiek van de stemprintersimulatie voor deze doelgroep. Dit alles heeft 
geleid tot het besluit van het ministerie van BZK om in de voorziene test de simulatie nog niet te 
testen met proefpersonen die een licht (motorische) fysieke beperking hebben. Voor de overige 
B groepen hebben voldoende proefpersonen deelgenomen. 

BI Blinden. De proefpersonen zijn geworven via de Oogvereniging. 

B2 Slechtzienden. De proefpersonen zijn geworven via de Oogvereniging. 

B3 Laaggeletterden. De proefpersonen zijn geworven via een sociale werkplaats en een ROC. 

B4 Licht verstandelijk gehandicapten. De proefpersonen zijn geworven via een sociale 
werkplaats. 
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Groep B 

Blinden 

Slechtzienden 

Laaggeletterden 

Licht verstandelijk 
gehandicapten 

Totaal 







Man 

17 

18 

17 

19 

71 

Vrouw 

13 

13 

15 

15 

56 

Totaal 

30 

31 

32 

34 

127 


18-40 

3 

8 

10 

4 

25 

41-60 

20 

8 

16 

23 

67 

61-80 

7 

14 

6 

7 

34 

80+ 

0 

1 

0 

0 

1 

Totaal 

30 

31 

32 

34 

127 


Uit 

bovens 
taande 
tabelle 
n volgt 
dat is 
voldaa 
n aan 
de 

gesteld 

e 

criteria 

voor 


de verdeling van de proefpersonen voor de groepen B: 

• Er is voldaan aan de 30 deelnemers per groep. 

• maximaal 75% van hetzelfde geslacht. Is aan voldaan, zowel per groep als in totaal. 

• maximaal 75% van dezelfde leeftijdscategorie: (18 - 50), (50 en ouder). Is aan voldaan, 
zowel per groep als in totaal. 

Opleidingsniveau en regionale spreiding zijn niet getoetst. 
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6.2 Resultaten Blinden 


6.2.1 Effectiviteit van het stemproces 
Onderzoeksvraag 1 

In totaal hebben 30 blinden deelgenomen aan de test met de simulatie stemprinter. Tabel 12 
geeft een overzicht van het aantal deelnemers ingedeeld in drie subgroepen: 

• Subgroep 1 (25) heeft alle opdrachten goed uitgevoerd. 

• Subgroep 2 (4) heeft niet alle opdrachten goed uitgevoerd, maar wel 2 stembiljetten 
geprint. 

• Subgroep 3 (1) heeft geen stembiljetten geprint. 


Onderstaand 
een verdere 
analyse van 
de 3 

subgroepen: 

Subgroep 1: 
Heeft 2 


Subgroep 

Aantal stembiljetten 
geprint 

Omschrijving van het 
resultaat 

Aantal 

personen 

Optelling per 
subgroep 

1 

2 

Alles goed 

25 

25 

2 

2 

Alleen lijstverkiezing goed 

2 

4 

Alleen referendum goed 

1 

Niets goed 

1 

3 

0 

Niets geprint 

1 

1 

Totaal 

30 


Tabel 12 Groep BI Blinden: resultaten ingedeeld naar het aantal geprinte stembiljetten. 

stembiljetten goed geprint. Deze groep bestaat uit: 

25 personen 


1 persoon vond het moeilijk en zegt er het volgende over: 

• 'Had graag uitleg van tevoren gehad op papier met hulpmiddelen. Proefpersoon ziet 
minder dan 5%.' 


3 personen hadden opmerkingen over de knoppen. Deze gaan over de indeling, de vorm en de 
werking. 

• 'Indeling van de knoppen is vreemd. Mensen zijn gewend aan een vierkant met in het 
midden OK (bij computers, afstandsbedieningen, telefoons). Knoppen zijn duidelijk 
voelbaar.' 

• 'Hij vond de knoppen goed uitgelegd. Maar pijl naar links is ook als driehoek te 
zien/voelen, hij zou daar een vierkant van maken. Hij kon goed met 1 hand overzicht 
krijgen, goede kast.' 

• 'Opmerking bij knoppen: linker knop [terug knop] deed volgens proefpersoon niets.' 
Deze laatste persoon heeft in het verkiezingenoverzicht geprobeerd de terug knop te gebruiken, 
het is echter niet mogelijk om die knop te gebruiken in die stap in het keuzeproces. 

In de logdata van de simulatie valt op dat een deel van de blinde proefpersonen bij het 
doorlopen van de opties met de bovenste pijl knop begint en daarmee aan het eind van de lijst 
terecht komt. Dit is een aanwijzing dat de werking van de 2 pijltoetsen mogelijk niet goed wordt 
begrepen. 

Subgroep 2: Heeft 2 stembiljetten geprint, maar ook een minstens 1 fout gemaakt. Deze groep 
bestaat uit: 
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4 personen 


2 personen hebben meerdere keren de terug knop gebruikt om uiteindelijk tot een keuze te 
komen. 1 persoon begreep de werking van de knoppen niet goed: 

• 'Proefpersoon begreep de werking van de ronde knop niet. Hij dacht dat deze alleen was 
voor de bevestiging, later begreep hij dat de ronde knop ook een navigeerfunctie had.' 

1 persoon heeft voor de lijstverkiezing gekozen voor lijst 13 en kandidaat 13, in plaats van 
kandidaat 25. Uit de logdata is op te maken dat er direct voor kandidaat 13 is gekozen en niet 
eerst een andere kandidaat is geselecteerd. De opdracht voor het referendum is wel goed 
uitgevoerd. 

1 persoon heeft beide opdrachten niet goed uitgevoerd. Uit de logdata van de simulatie is op te 
maken dat deze persoon de tijd heeft genomen om een stukje te luisteren van bijna elke lijst en 
bijna elke kandidaat van lijst 5 (niet de opdracht). 

Subgroep 3: Heeft geen stembiljetten geprint. Deze groep bestaat uit: 

1 persoon 

Deze persoon heeft geen stembiljetten geprint. Zij vond het moeilijk en 'zeer verwarrend'. 

• 'Proefpersoon herkende de partijen niet door de onbekende lijstnamen, en zocht op de 
verkeerde plek de kandidaat. Aan printen daardoor niet toegekomen. Was goed geweest 
als gezegd werd: u zit in de partijenlijst (lijstoverzicht) en nu in de kandidatenlijst.' 

Samengevat 

De meerderheid van de blinde proefpersonen is er in geslaagd 2 stembiljetten volgens opdracht 
te printen. 2 proefpersonen hadden de lijstverkiezing goed uitgevoerd, maar het referendum 
niet. 1 proefpersoon begreep niet goed wat de test inhield, zij zocht naar echte lijsten en 
kandidaten en is er niet in geslaagd om stembiljetten te printen. De bediening met de tactiele 
knoppen was voor een aantal proefpersonen niet altijd even duidelijk zo blijkt uit de logdata van 
de simulatie of de commentaren. 


6.2.2 Tijdsduur van het stemproces 

De 29 proefpersonen die 2 stembiljetten hebben geprint, doen gemiddeld 210 seconden over het 
stemproces (zie Tabel 13). Dit is gemeten van de 'Start' knop tot het laatste scherm na het 
printen van het tweede stembiljet. De lijstverkiezing is in gemiddeld 77 seconden uitgevoerd, het 
referendum in 37 seconden. 


tijd (seconden) 


Start tot Einde 

210 

Start Lijstverkiezing tot 'print stembiljet' 

77 

Start Referendum tot 'print stembiljet' 

37 


Lijstverkiezing, kandidaat met laag cijfer (n=14) 

73 

Lijstverkiezing, kandidaat met hoog cijfer (n=15) 

81 


Tabel 13 Gemiddelde tijden van de proefpersonen die 2 stembiljetten hebben geprint, 29 personen. 
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6.3 Resultaten slechtzienden 















6.3.1 Effectiviteit van het stemproces 


Onderzoeksvraag 1 

In totaal hebben 31 slechtzienden deelgenomen aan de test met de simulatie stemprinter. Tabel 
14 geeft een overzicht van het aantal deelnemers ingedeeld in 3 subgroepen: 

• Subgroep 1 (24) heeft alle opdrachten goed uitgevoerd. 

• Subgroep 2 (1) heeft niet alle opdrachten goed uitgevoerd, maar wel 2 stembiljetten 
geprint. 

• Subgroep 3 (6) heeft 1 of geen stembiljet(jet) geprint. 


Subgroep 

Aantal 

stembiljetten 

geprint 

Omschrijving van het 
resultaat 

Aantal 

personen 

Optelling per 
subgroep 

1 

2 

Alles goed 

24 

24 

2 

2 

Niets goed 

1 

1 

3 

1 

Alleen le tab goed 

2 

6 

Alleen 2e tab goed 

1 

le tab fout 

1 

0 

Niets geprint 

2 

Totaal 

31 


Tabel 14 Groep B2 Slechtzienden, resultaten ingedeeld naar het geldigheidscriterium. 


Onderstaand een verdere analyse van de 3 subgroepen: 

Subgroep 1: Heeft 2 stembiljetten goed geprint. Deze groep bestaat uit: 

24 proefpersonen 

3 proefpersonen vonden de simulatie moeilijk te bedienen. Als redenen worden gegeven: 

• 'Omdat hij het niet kon lezen. Op goed geluk geprint.' 

• 'Geheel niet duidelijk genoeg en vooral niet groot genoeg.' 

1 van hen heeft de auditieve ondersteuning gebruikt en daarmee 2 opdrachten goed uitgevoerd. 
Deze proefpersoon heeft eerst de opdracht geprobeerd uit te voeren met alleen het 
aanraakscherm. Dat lukte niet. 

15 proefpersonen vonden de simulatie makkelijk te bedienen. Drie van hen gaven echter aan niet 
alles goed te kunnen lezen: 'nummers van lijsten en kandidaten wel, namen niet.' 

6 proefpersonen gaven aan het niet moeilijk of makkelijk te vinden. Één persoon gaf aan dat het 
scherm slecht te lezen was: 'niet alles even dik, bijvoorbeeld lijst 13. Voorkeur voor donker scherm 
met lichte letters'. 4 anderen gaven aan dat het te lezen was, maar maakten wel opmerkingen 
over de grootte en het contrast van de letters. 


Subgroep 2: Heeft 2 stembiljetten geprint, maar hebben daarbij fouten gemaakt. 

Deze groep bestaat uit: 

1 proefpersoon 

Deze proefpersoon had twee stembiljetten geprint, maar niets goed. Bij de vraag of het scherm 
goed te lezen was is als reactie vastgelegd: 'Alleen de cijfers. Proefpersoon had geen idee wat ze 
aan het kiezen was. Ze kon ook de terug knop niet vinden.' 
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Subgroep 3: Heeft 1 of geen stembiljet(ten) geprint. 

Deze groep bestaat uit: 

6 proefpersonen 

2 proefpersonen hadden 1 stembiljet geprint en alleen de eerste lijstverkiezing goed uitgevoerd. 

1 proefpersoon gaf aan alleen de cijfers te lezen waren en 'niet in de gaten te hebben dat het om 

2 verkiezingen ging', 'heeft op goed geluk knoppen ingedrukt'. 

De andere proefpersoon 'dacht in een cirkel terecht gekomen te zijn'. Uit de logdata van de 
simulatie blijkt dat deze proefpersoon de tweede lijstverkiezing 5 maal opnieuw gestart heeft 
voordat de proefpersoon is gestopt. Onduidelijk is of dit aan het aanraakscherm heeft gelegen of 
dat deze proefpersoon niet goed heeft gezien dat de terug knop op een hele andere plek zit dan 
lijst 13 (de opdracht). 

1 proefpersoon had 1 stembiljet geprint en alleen de tweede lijstverkiezing goed uitgevoerd. 
Deze proefpersoon had 'niet in de gaten gehad' dat er meer geprint moest worden en zegt 
verder: 'je concentreert je op één gedeelte van test en van het beeldscherm'. De proefpersoon 
heeft op de 'Stoppen' knop gedrukt. 

1 proefpersoon had 1 stembiljet geprint en de eerste lijstverkiezing fout uitgevoerd. De 
proefpersoon had 'niet in de gaten gehad' dat er meer geprint moest worden en zegt verder: 
'Toelichting op scherm te lezen: maar wel moeilijk'. Deze proefpersoon heeft geen actie meer 
ondernomen na de eerste lijstverkiezing. 

2 proefpersonen is het niet gelukt om stembiljetten te printen. Zij bleken te slechtziend om de 
tekst te kunnen lezen of zelfs knoppen te op het scherm te kunnen onderscheiden. 1 
proefpersoon heeft de auditieve ondersteuning nog geprobeerd, maar kon te weinig zien om 
keuzes te maken op het scherm. 

Samengevat 

Een groot deel van de slechtzienden is erin geslaagd om de opdracht uit te voeren en twee 
stembiljetten te printen, zij het met moeite. Veel slechtzienden gaven aan dat de cijfers goed te 
lezen waren, maar de teksten niet. Een aantal van hen heeft op goed geluk de keuzes gemaakt. 
Twee personen konden onvoldoende zien om het scherm te lezen en te bedienen. Zij hebben 
geen stembiljetten geprint. 


Vergelijking resultaten papieren stembiljet en simulatie stemprinter 


Groep B2 Slechtzienden 

Huidige stembiljet 


Niet correct 

Correct 

Totaal 

Simulatie 

Stemprinter 

2 stembiljetten geprint en correct 

5 

19 

24 

2 stembiljetten geprint niet alle 
correct 

1 

0 

1 

1 of 0 stembiljetten geprint 

3 

3 

6 


Totaal 

9 

22 

31 


Tabel 15 Groep B2 Slechtzienden: Vergelijking resultaten simulatie stemprinter en huidige stembiljet. 


Onderzoeksvraag 2: Tabbladen 

'Vormt de gekozen tabbladen systematiek voor het weergeven van de kandidaten in de simulatie 
van de stemprinter een belemmering bij het bedienen van de stemprinter?' 


















Criterium: Nee, indien de proefpersoon in staat is om de opdracht op tabblad 2 juist uit te 
voeren. 

Tabel 16 laat zien dat er geen verschil is in het succesvol uitvoeren van een opdracht zonder of 
met tabblad. Om een vergelijking te kunnen maken is er alleen gekeken naar de personen die 
beide lijstverkiezingen zijn gestart (25 van de 31 personen). 


Beide opdrachten niet correct 

1 

Alleen opdracht l e tab correct 

0 

Alleen opdracht 2 e of 3 e tab correct 

0 

Beide opdrachten correct 

24 

Totaal 

25 


Tabel 16 Aantal slechtzienden dat in staat is om een opdracht voor een lijstverkiezing goed uit te voeren. 


6.4.1 Tijdsduur van het stemproces 

De 22 proefpersonen die 2 stembiljetten hebben geprint en op de laatste 'klaar met controleren' 
knop hebben gedrukt, doen gemiddeld 171 seconden over het stemproces (zie Tabel 17). De 
lijstverkiezing zonder tab is door deze groep in gemiddeld 46 seconden uitgevoerd, de opdracht 
met tab in 49 seconden. 


tijd (seconden) 

Start tot Einde 

171 

Start lijstverkiezing Zonder tab 
tot 'print stembiljet' 

46 

Start lijstverkiezing Met tab tot 
tot 'print stembiljet' 

49 


Tabel 17 Gemiddelde tijden van de proefpersonen die 2 stembiljetten hebben geprint, 22 personen. 


Heeft u de stembiljetten gecontroleerd? 


Ja 

24 

Nee 

4 

Geen data 

3 

Totaal 

31 


Vervolgvraag: Waarom heeft u de stembiljetten niet gecontroleerd? 

3 proefpersonen konden de stembiljetten niet (goed genoeg) lezen. 

1 proefpersoon heeft alleen het laatste stembiljet gecontroleerd en vertrouwde de computer. 

Komt er wat er op de stembiljetten staat overeen met wat u wilde kiezen? 


Ja 23 

Weet niet 1 

Geen data 7 

Totaal 31 

Was voor u wat op het scherm stond goed te lezen? 

Ja 19 

Nee 
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Ja en Nee 


1 


Totaal 31 

Vervolgvraag: Waarom was het niet goed te lezen? 

• 6 opmerkingen gaan over de leesbaarheid van de tekst. De cijfers waren wel goed te 
lezen, de namen niet goed. 

• 6 proefpersonen gaven aan dat ze het scherm te fel vonden. 

• De overige opmerkingen zijn verschillend van aard. 

Waarom heeft u niet alle stembiljetten geprint? 

• 'Niet in de gaten gehad.' 

• 'Niet in de gaten gehad: je concentreert je op 1 gedeelte van test en van beeldscherm.' 

• 'Paneel heeft geen voelbare elementen.' 

• 'Proefpersoon had niet in de gaten dat het om 2 verkiezingen ging.' 

• 'Proefpersoon kan scherm niet lezen.' 

Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 


Moeilijk 

6 

Makkelijk 

17 

Neutraal 

6 

Geen data 

2 

Totaal 

31 


Vervolgvraag: Waarom vond u het moeilijk? 

• 'Geheel niet duidelijk genoeg en vooral niet groot genoeg. Betrokkene wist niet voor 
welke verkiezing een keuze gemaakt moest worden. Betrokkene kon de opdracht niet 
lezen en heeft de cijfers op de achterkant groter gezet.' 

• 'Het gebruiksgemak viel tegen. Anders dan gewend. De logica in het systeem.' 

• 'Kan het niet zien.' 

• 'Omdat het niet te lezen was. Op goed geluk geprint.' 

• 'Puur gokwerk.' 

• 'Te klein.' 

Commentaar van proefpersonen die 'neutraal' hebben geantwoord 

• 'Op stembiljet graag letters van lijst en kandidaat vetter.' 

• 'Scherm is lastig vanwege oogafwijking.' 

• 'Zwart en wit op het scherm omwisselen. Heffelle scherpe licht is heel vermoeiend.' 
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6.5 Resultaten laaggeletterden 


6.5.1 Effectiviteit van het stemproces 


Onderzoeksvraag 1 

In totaal hebben 32 laaggeletterden deelgenomen aan de test met de simulatie stemprinter. 
Tabel 18 geeft een overzicht van het aantal deelnemers ingedeeld in 3 subgroepen: 

• Subgroep 1 (15) heeft alle opdrachten goed uitgevoerd. 

• Subgroep 2 (5) heeft niet alle opdrachten goed uitgevoerd, maar wel 2 stembiljetten 
geprint. 

• Subgroep 3 (12) heeft 1 of geen stembiljet(ten) geprint. 


Subgroep 
1: Heeft 
2 

stembilje 

tten goed 

geprint. 

Deze 

groep 

bestaat 

uit: 

15 


Subgroep 

Aantal 

stembiljetten 

geprint 

Omschrijving van het resultaat 

Aantal 

personen 

Optelling per 
subgroep 

1 

2 

Alles goed 

15 

15 

2 

2 

Alleen le tab goed 

1 

5 

Niets goed 

4 

3 

1 

Alleen le tab goed, begonnen aan 2e opdracht 

1 

12 

1 

Alleen le tab goed 

2 

Alleen 2e tab goed 

1 

le tab fout 

5 

0 

Niets geprint 

3 

Totaal 

32 


Tabel 18 Groep B3 Laaggeletterden: resultaten ingedeeld naar het aantal geprinte stembiljetten. 

proefpersonen 


1 proefpersonen vond het uitvoeren van de opdrachten moeilijk: 'moeilijk om kandidaat 43 te 
vinden'. Betrokkene had moeite met de opdracht op het derde tabblad. Betrokkene had ook de 
stembiljetten niet gecontroleerd, 'vergeten'. Uit de logdata van de simulatie blijkt dat de 
proefpersoon voor de tweede lijstverkiezing tot 2 keer toe kandidaat 4 had gekozen, maar 
terugkeerde naar het kandidatenoverzicht en uiteindelijk kandidaat 43 heeft gekozen. 

12 proefpersonen vonden het uitvoeren van de opdrachten makkelijk. Uit de logdata van de 
simulatie blijkt ook niet dat deze proefpersonen moeite hadden met het uitvoeren van de 
opdrachten. Één proefpersoon heeft na de eerste lijstverkiezing op 'stoppen' gedrukt, maar is 
weer teruggekeerd. Een ander heeft de verschillende tabs een paar keer bekeken voordat een 
keuze is gemaakt voor kandidaat 43 (de opdracht) op tabblad 3. 

2 proefpersonen gaven aan het niet moeilijk of makkelijk te vinden. Uit de logdata van de 
simulatie blijkt niet dat betrokkenen moeilijkheden hebben ondervonden. 
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Subgroep 2: Heeft 2 stembiljetten geprint, maar niet alles goed. Deze groep bestaat uit: 

5 personen 

1 proefpersoon heeft zonder omwegen 1 fout gemaakt. 

4 proefpersonen hebben niets goed. 1 van hen zegt een eigen keuze te hebben gemaakt. Een 
ander heeft alleen de lijsten goed gekozen en zegt te twijfelen over de kandidaten. 


Subgroep 3: Heeft 1 of geen stembiljet(ten) geprint. Deze groep bestaat uit: 

12 proefpersonen 

1 proefpersoon gaf aan kandidaat 43 niet te kunnen vinden. Dit is terug te zien in de logdata van 
de simulatie. De sessie is gestopt in het kandidatenoverzicht. 

3 proefpersonen hadden 1 stembiljet goed geprint. 2 van hen zijn gestopt na het printen van het 
eerste stembiljet, de ander heeft op 'Stoppen' gedrukt en geeft als commentaar '1 was genoeg. 
In 't echt doe je ook maar 1 stembiljet'. 

5 proefpersonen hadden 1 stembiljet geprint, maar niet goed. 2 van hen blijken de opdracht niet 
goed begrepen te hebben, zij zeggen: 'dacht dat 1 genoeg was' en 'dacht te kunnen kiezen uit de 
opdracht'. Een ander is gestopt na het start van de tweede lijstverkiezing. 

3 proefpersonen hadden niets geprint. 2 van hen hebben niet op 'Start' gedrukt, de ander is niet 
verder gekomen dan het lijstenoverzicht. Als commentaar geven zij: 'kan het niet', 'nog nooit iets 
met een computer gedaan' en 'kan niet met computer werken'. 


Samengevat 

De groep laaggeletterden proefpersonen lijkt vooral moeite te hebben met het vinden van het 
tweede of derde tabblad. Ook stopt een groot deel na het printen van één stembiljet, zij drukken 
niet op 'klaar met controleren'. Een aantal proefpersonen heeft de opdracht niet begrepen 
dachten dat ze maar 1 stembiljet hoefden te printen. Drie proefpersonen zeggen niet om te 
kunnen gaan met computers en komen hoogstens tot het lijstenoverzicht. 


Groep B3 Laaggeletterden 

Huidige stembiljet 


Niet correct 

Correct 

Totaal 

Simulatie 

Stemprinter 

2 stembiljetten geprint en correct 

3 

12 

15 

2 stembiljetten geprint niet alle 
correct 

1 

4 

5 

1 of 0 stembiljetten geprint 

7 

5 

12 


Totaal 

11 

21 

32 


Tabel 19 Laaggeletterden: Vergelijking resultaten simulatie stemprinter en huidige stembiljet. 
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Onderzoeksvraag 2: Tabbladen 

'Vormt de gekozen tabbladen systematiek voor het weergeven van de kandidaten in de simulatie 
van de stemprinter een belemmering bij het bedienen van de stemprinter?' 

Criterium: Nee, indien de proefpersonen in staat is om de opdracht op tabblad 2 of 3 juist uit te 
voeren. 

15 proefpersonen die beide lijstverkiezingen zijn gestart, deden dit beide keren correct. 

Er zit een klein verschil in het correct uitvoeren van een opdracht zonder tabblad of met tabblad. 
Tabel 20 laat zien dat er 2 personen meer in staat zijn om de opdracht voor het l e tabblad correct 
uit te voeren. Om een vergelijking te kunnen maken is er alleen gekeken naar de personen die 
beide lijstverkiezingen zijn gestart (21 van de 32 personen). 


Beide opdrachten niet correct 

4 

Alleen opdracht l e tab correct 

2 

Alleen opdracht 2 e of 3 e tab correct 

0 

Beide opdrachten correct 

15 

Totaal 

21 


Tabel 20 Aantal laaggeletterden dat in staat is om een opdracht voor een lijstverkiezing goed uit te voeren. 


Tijdsduur van het stemproces 

tijd (seconden) 

Start tot Einde 

127 

Start lijstverkiezing Zonder tab 


tot 'print stembiljet' 

26 

Start lijstverkiezing Met tab tot 


'print stembiljet' 

46 


Heeft u de stembiljetten gecontroleerd? 


Ja 

24 

Nee 

4 

Geen data 

4 


Totaal 32 


Vervolgvraag: Waarom heeft u de stembiljetten niet gecontroleerd? 

• 'Dacht: zo is het goed!.' 

• 'Niet gezien dat dat moest.' 

• 'Alleen op scherm gekeken, leuk plaatje.' 

• 'Vergeten.' 

• 'Begrijpt het niet.' 

Komt er wat er op de stembiljetten staat overeen met wat u wilde kiezen? 

Ja 22 


Twijfel 

3 

Geen data 

7 

Totaal 

31 
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Waarom heeft u niet alle stembiljetten geprint? 

• '1 was genoeg. In 't echt doe je ook maar 1 stembiljet.' 

• 'Dacht dat 1 genoeg was.' 

• 'Dacht te kunnen kiezen uit de opdracht.' 

• Kan het niet. 

• Kan het niet. 

• 'Kan kandidaat 43 niet vinden.' 

• Proefpersoon kan deze vraag niet beantwoorden. 

• Proefpersoon kan niet lezen, werd al onzeker bij het woord 'Start'. 

• Testbegeieider is vergeten deze vraag te stellen. 


Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 
neutraal? 


Moeilijk 

5 

Makkelijk 

19 

Neutraal 

8 

Totaal 

32 


Vervolgvraag: Waarom moeilijk? 

• 'Nog nooit iets met een computer gedaan.' 

• 'Kan niet met computer werken.' 

• 'Kan het niet.' 

• 'Nog nooit zoiets gedaan met zo'n aanraakscherm.' 

• 'Moeilijk om kandidaat 43 te vinden.' 


Heeft u de logo's of de foto's gebruikt om te zoeken op wie u een keuze wilde maken? 


Ja 

22 

Nee 

7 

Geen data 

3 

Totaal 

32 


Vervolgvraag: Waarom niet logo's en foto's gebruikt? 

• 'Cijfers zijn makkelijker.' 

• 'Gelezen.' 
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6.6 Resultaten Licht verstandelijk gehandicapten 


6.6.1 Effectiviteit van het stemproces 


Onderzoeksvraag 1 

In totaal hebben 34 licht verstandelijk gehandicapten deelgenomen aan de test met de simulatie 
stemprinter. Tabel 21 geeft een overzicht van het aantal deelnemers ingedeeld in 3 subgroepen: 

• Subgroep 1 (14) heeft alle opdrachten goed uitgevoerd. 

• Subgroep 2 (5) heeft niet alle opdrachten goed uitgevoerd, maar wel 2 stembiljetten 
geprint. 

• Subgroep 3 (15) heeft 1 of geen stembiljet(ten) geprint. 


Subgroep 
1: Heeft 2 
stembiljett 
en goed 
geprint. 
Deze groep 
bestaat uit: 
14 

personen 

7 


Subgroep 

Aantal 

stembiljetten 

geprint 

Omschrijving van het resultaat 

Aantal 

personen 

Optelling per 
subgroep 

1 

2 

Alles goed 

14 

14 

2 

2 

Alleen le tab goed 

3 

5 

Niets goed 

2 

3 

1 

Alleen le tab goed, begonnen aan 2e opdracht 

1 

15 

Alleen le tab goed 

5 

le tab fout 

7 

0 

Niets geprint 

2 

Totaal 

34 


Tabel 21 Groep B4 Licht verstandelijk gehandicapten: resultaten ingedeeld naar het aantal geprinte stembiljetten. 
proefpersonen vonden het uitvoeren van de opdrachten makkelijk. Één van hen had lijst 19 
geselecteerd, na het doorzoeken van verschillende tabbladen heeft betrokken vervolgens lijst 20 
geselecteerd. De andere proefpersonen hebben geen omwegen genomen. 


7 proef personen gaven aan het niet moeilijk of makkelijk te vinden. Één persoon vond de 
opdracht met kandidaat 43 moeilijk, maar de andere makkelijk. De andere proefpersonen 
hebben geen omwegen genomen. 


Subgroep 2: Heeft 2 stembiljetten geprint, maar niet alles goed. Deze groep bestaat uit: 

5 personen 

2 proef personen hadden wel de juiste lijst voor de tweede lijstverkiezing gekozen, maar leken 
het derde tabblad niet te kunnen vinden. Één persoon geeft dit ook aan: 'Kon kandidaat 43 niet 
vinden , heeft iemand gekozen die erop leek'. 

1 proefpersoon vond het moeilijk. Als commentaar gaf de persoon te kennen: 'Je weet niet hoe 
het moet.' Betrokkene heeft na de eerste lijstverkiezing op 'Stoppen' gedrukt. 

2 proefpersonen hebben 2 stembiljetten geprint, maar hebben niets goed. Zij hebben beiden na 
de eerste lijstverkiezing op 'Stoppen' gedrukt, maar zijn weer teruggekeerd naar het 
verkiezingenoverzicht. 
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Subgroep 3: Heeft 1 of geen stembiljet(ten) geprint. Deze groep bestaat uit: 

16 personen 

1 proefpersoon had voor de tweede lijstverkiezing een verkeerde lijst gekozen (lijst 1) en heeft 
daardoor kandidaat 43 niet gevonden. 

5 proefpersonen hadden 1 stembiljet goed geprint. Zij zijn allen na het printen van het eerste 
stembiljet gestopt en hebben niet op 'Klaar met controleren' gedrukt. Zij vonden de opdrachten 
makkelijk of neutraal. 

7 proefpersonen hadden 1 stembiljet fout geprint. 6 van hen zijn gestopt na het printen van het 
eerste stembiljet. 1 persoon heeft wel 'Klaar met controleren' gedrukt, maar is daarna 4 keer 
naar het eindscherm gegaan. 5 van de 7 vonden het moeilijk en zeggen bijvoorbeeld 'moeilijk om 
te lezen en te snappen' en 'begrijpt de bedoeling niet'. 

2 proefpersonen hadden niets geprint. Als commentaar staat aangegeven 'vond het te moeilijk' 
en 'kan niet met computer omgaan, het lukte niet' 

Samengevat 

Van de groep proefpersonen met een licht verstandelijke handicap heeft ongeveer de helft 
zonder omwegen hun keuzes gemaakt. Een aantal proefpersonen lijkt moeite te hebben om het 
derde tabblad te vinden, maar zij slaagden er wel in om een stembiljet te printen. De 
proefpersonen die na 1 verkiezing zijn gestopt, deden dat bijna allemaal in het 
verkiezingenoverzicht of vlak daarvoor. Zij drukten dan niet op 'klaar met controleren'. 


Groep B4 Licht verstandelijk gehandicapten 

Huidige stembiljet 


Niet correct 

Correct 

Totaal 

Simulatie 

Stemprinter 

2 stembiljetten geprint en correct 

2 

12 

14 

2 stembiljetten geprint niet alle 
correct 

3 

2 

5 

1 of 0 stembiljetten geprint 

12 

3 

15 


Totaal 

17 

17 

34 


Tabel 22 Licht verstandelijk gehandicapten: Vergelijking resultaten simulatie stemprinter en huidige 
stembiljet. 
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Onderzoeksvraag 2: Tabbladen 

'Vormt de gekozen tabbladen systematiek voor het weergeven van de kandidaten in de simulatie 
van de stemprinter een belemmering bij het bedienen van de stemprinter?' 

Criterium: Nee, indien de proefpersonen in staat is om de opdracht op tabblad 2 of 3 juist uit te 
voeren. 

Er zit een klein verschil in het correct uitvoeren van een opdracht zonder tabblad of met tabblad. 
Tabel 23 laat zien dat er 3 personen in staat zijn om de opdracht voor het l e tabblad correct uit te 
voeren. Om een vergelijking te kunnen maken is er alleen gekeken naar de personen die beide 
lijstverkiezingen zijn gestart (19 van de 34 personen). 


Beide opdrachten niet correct 

2 

Alleen opdracht l e tab correct 

3 

Alleen opdracht 2 e of 3 e tab correct 

0 

Beide opdrachten correct 

14 

Totaal 

19 


Tabel 23 Aantal licht verstandelijk gehandicapten dat in staat is om een opdracht voor een lijstverkiezing 
goed uit te voeren. 


Tijdsduur van het stemproces 

tijd (seconden) 

Start tot Einde 

214 

Start lijstverkiezing Zonder tab tot 'print stembiljet' 

36 

Start lijstverkiezing Met tab tot 'print stembiljet' 

38 


Heeft u de stembiljetten gecontroleerd? 


Ja 

24 

Nee 

7 

Geen data 

3 


Totaal 34 


Waarom heeft u de stembiljetten niet gecontroleerd? 

• 'Vergeten.' 

• Begrijpt het niet.' 

• 'Heb zomaar wat gekozen (foto).' 

• 'Vergeten.' 

• 'Lag op de kop.' 

• 'Niet gezien dat dat moest.' 

Komt er wat er op de stembiljetten staat overeen met wat u wilde kiezen? 


Ja 

24 

Geen data 

10 

Totaal 

34 
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Vond u het maken van de keuzes en het printen van de stembiljetten: makkelijk, moeilijk of 


neutraal? 


Moeilijk 

8 

Makkelijk 

12 

Neutraal 

13 

Geen data 

1 


Totaal 34 


Vervolgvraag: Waarom moeilijk? 

• Begrijpt het niet. 

• 'Je weet niet hoe het moet.' 

• 'Moeilijk om keuze te maken.' 

• 'Moeilijk om te lezen en te snappen.' 

• 'Vond het te moeilijk.' 

Heeft u de logo's of de foto's gebruikt om te zoeken op wie u een keuze wilde maken? 


Ja 

26 

Nee 

6 

Geen data 

2 

Totaal 

34 


Vervolgvraag: Waarom heeft u niet de logo's en foto's gebruikt? 

• Begrijpt de bedoeling niet. 

• 'Naar lijst- en kandidaatnummers gekeken.' 

• 'Vooral naar de namen gekeken.' 

• 'Vooral namen gelezen, grote letters zijn fijn.' 
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6.7 Gebruik Simulatie stemprinter voor alle proefpersonen in groep B 


Indien het gebruik van het huidige stembiljet vergeleken wordt met dat van de simulatie 
stemprinter, dan blijkt dat het aantal proefpersonen, uitgezonderd de blinden, dat zowel het 
huidige stembiljet als de simulatie stemprinter correct kan invullen aanzienlijk is. Zie Figuur 26 
voor een samenvatting. 

Anders gezegd, waar de aanname dat slechtzienden, laaggeletterden en personen met een licht 
verstandelijke beperking niet in staat zouden zijn het huidige stembiljet zelfstandig in te vullen is 
niet correct gebleken. Een aanzienlijk deel van de proefpersonen blijkt dat wel te kunnen. 


■ Papieren stembiljet 

* Simulatie stemprinter (3 biljetten geprint en correct] 
Simulatie stemprinter (3 biljetten geprint] 

35 



Figuur 26 Groepen B: correcte invulling papieren stembiljet en Simulatie Stemprinter + 3 biljetten geprint 
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Conclusies en aanbevelingen 

In dit hoofdstuk worden conclusies getrokken op basis van de resultaten in de hoofdstukken 5 en 6. 
Daarnaast worden de verschillende interacties geëvalueerd, het onderzoek bediscussieerd en 
worden aanbevelingen gedaan voor verder onderzoek en ontwikkeling. Tenslotte worden de 
onderzoeksvragen beantwoord. 


7.1 Inleiding 


In dit onderzoek is nagegaan of de aanname(s) juist is dat het stemmen door gebruik te maken 
van een stemprinter toegankelijker wordt voor de kiezers. In het bijzonder voor kiezers met een 
beperking waarvoor het met de stemprinter mogelijk zou kunnen zijn om zelfstandig te stemmen. 

Hiertoe zijn door TUD vier mogelijke gebruiker-stemprinter interacties ontwikkeld en is een 
testopzet gemaakt. Op basis hiervan zijn in opdracht van BZK door een externe partij 
proefopstellingen van een simulatie van een stemprinter gebouwd en zijn deze getest door een 
onderzoeksbureau. De resultaten van de test zijn door TUD geanalyseerd. 

In dit onderzoek zijn twee groepen onderscheiden: 

Groep A: 

Personen die in 2014 zelfstandig (dat wil zeggen zonder hulp in het stemhokje van een 
andere persoon) hebben gestemd bij de verkiezing van de leden van de gemeenteraden en/ 
of de leden van het Europees Parlement. Hiertoe is een voldoende representatieve 
steekproef van 407 proefpersonen uit de Nederlandse bevolking getrokken, rekening 
houdend met geslacht, leeftijd, opleidingsniveau en regionale spreiding. 

Groep B: 

De populatie van stemgerechtigde personen die om uiteenlopende redenen mogelijk niet in 
staat zijn om zelfstandig (dat wil zeggen zonder hulp in het stemhokje van een andere 
persoon) te stemmen met het papieren stembiljet dat gebruikt wordt bij verkiezingen. 
Hiervoor zijn langs verschillende kanalen in totaal 127 proefpersonen geworven: blinden (30 
personen), slechtzienden (31 personen), laaggeletterden (32 personen), licht verstandelijk 
beperkten (34 personen). 


84 




7.2 Conclusies groep A: huidige kiezer 


De meervoudige verkiezing voor groep A bestond uit 3 opdrachten; 

2 lijstverkiezingen en 1 referendum. 

Alle proefpersonen hebben gebruik gemaakt van de aanraakscherm interactie. 

Conclusies die betreffende deze groep kunnen worden getrokken zijn: 

1/ 93% van de proefpersonen was in staat alle 3 de opdrachten correct uit te voeren 

• Binnen deze subgroep van 378 personen zijn geen afwijkende patronen 
gevonden in het doorlopen van het keuzeproces. 

• 360 proefpersonen (88% van totale groep A) beoordeelden het maken van de 
keuzes en het printen van de stembiljetten als gemakkelijk, 14 waren neutraal 
en 4 vonden het moeilijk. 

• 353 personen zeggen de stembiljetten te hebben gecontroleerd. 25 personen 
geven aan dit niet gedaan te hebben, met name omdat zij vertrouwen op de 
computer. 

2/ 5% van de proefpersonen (21) heeft wel 3 stembiljetten geprint, maar niet alle 

opdrachten correct uitgevoerd. Een deel van deze personen is in principe in staat om 
met de simulatie van de stemprinter om te gaan. Zij zijn echter om andere redenen niet 
tot het printen van 3 correcte stembiljetten gekomen zoals: 

• Tegenstemmen bij referendum (6) bij opdracht 'stem voor', terwijl de, meer 
complexe, lijstverkiezingen correct uitgevoerd werden. 

• Referendum en 1 lijstverkiezing correct (5), maar 2 e lijstverkiezing fout. 
Opvallend is dat 19 van deze 21 personen zeggen de stembiljetten wel te hebben 
gecontroleerd. Slechts 2 proefpersonen is het bij het controleren blijkbaar opgevallen 
dat wat er op het stembiljet staat niet overeenkwam met de opdracht die was gegeven. 

3/ De overige 2% van de proefpersonen (8) hebben minder dan 3 stembiljetten geprint. 

• Bij deze subgroep zijn duidelijk afwijkende patronen (veel zoeken) in het 
keuzeproces te zien. 

• Een aantal proefpersonen (3) start helemaal niet. 

• Proefpersonen stoppen in het verkiezingenoverzicht. 

Ook hier is opvallend dat 3 van de 8 personen zeggen de stembiljetten te hebben 
gecontroleerd, maar slechts 1 van hen geeft aan dat het niet overeenkomt met de 
gegeven opdracht. 

4/ Op basis van de gekozen testopzet en bijbehorende relevante steekproefgrootte kan, 
met een betrouwbaarheid van 95%, gesteld worden dat 88%-98% (93% ± 5%) van de 
kiezers, die zelfstandig kunnen stemmen, in staat is 3 juiste keuzes op de simulatie van 
de stemprinter te maken. Voor het zelfstandig printen van 3 stembiljetten is dit 93%- 
100% (98% ± 5%). Het aantal proefpersonen dat het huidig stembiljet correct invult is in 
de simulatie 97,5%. 

5/ Met name de achtergrondvariabele 'leeftijd' heeft een invloed op het resultaat: 

• Van de proefpersonen tussen 61 en 71 jaar is 92% in staat alle 3 de opdrachten 
correct uit te voeren (99% print 3 stembiljetten). 

• 85% van de proefpersonen tussen 71 en 80 jaar is in staat alle 3 de opdrachten 
correct uit te voeren (100% print 3 stembiljetten). 
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• Slechts 40% van de proefpersonen van 81 jaar en ouder is in staat alle 3 de 
opdrachten correct uit te voeren (65% print 3 stembiljetten). Dit zijn 8 van in 
totaal 20 proefpersonen van 81 jaar en ouder. Van de overige 12 personen van 
81 jaar en ouder, die niet in staat zijn om alle drie de opdrachten correct uit te 
voeren, hebben 5 ook het huidige stembiljet niet correct ingevuld. Van de 
andere 7 personen die het huidige stembiljet wel correct hebben ingevuld, zijn 
er 5 personen die de eerste lijstverkiezing goed hadden en daarna zijn gestopt. 
De overige 2 hadden alleen het referendum goed. 

6/ Voor de andere drie achtergrondvariabelen geldt: 

• Opleidingsniveau heeft eveneens invloed op het resultaat. Het aantal 
proefpersonen dat alle drie opdrachten correct uitvoerde varieerde van lager 
opleidingsniveau (81%) tot hoger opleidingsniveau (100%). Voor het printen 
van 3 stembiljetten is deze variatie een stuk minder (95-100%). 

• Regionale spreiding blijkt van minder invloed te zijn dan opleidingsniveau. Het 
percentage proefpersonen dat alle drie opdrachten correct uitvoerde varieerde 
tussen 92% voor proefpersonen afkomstig uit stedelijk gebied en 96% voor 
proefpersonen afkomstig uit landelijk gebied. Voor het printen van 3 
stembiljetten gold eenzelfde mate van variatie (96-100%). 

• Het geslacht van de proefpersoenen blijkt nauwelijks van invloed te zijn; 92% 
van de vrouwen en 94% van de mannen zijn in staat alle 3 de opdrachten goed 
uit te voeren (97-99% print 3 stembiljetten). 

7/ Het gebruik van tabbladen in het kandidatenscherm van de stemprinter interactie vormt 
geen belemmering bij het bedienen van de stemprinter. Het aantal personen dat zowel 
de lijstverkiezing op het le tabblad als de lijstverkiezing op het 2 e of 3 e tabblad heeft 
geprint is nagenoeg gelijk. 

8/ Proefpersonen zijn in staat om blanco te stemmen. Er zijn 10 proefpersonen die deze 
opdracht hebben gekregen; 9 van hen voerden de keuze 'stem blanco' juist uit. De 
andere persoon heeft ook de lijstverkiezing en het referendum niet in kunnen vullen; hij 
kon in het geheel niet met simulatie stemprinter overweg. 


7.3 Conclusies groep B: mensen met beperkingen 


De meervoudige verkiezing voor groep B bestond uit 2 opdrachten; 

• 1 lijstverkiezing en 1 referendum voor de groep Blinden. 

• 2 lijstverkiezingen voor de overige B groepen. 

Conclusies die betreffende deze groep kunnen worden getrokken zijn: 

1/ In de groep BI Blinden hebben 25 van de 30 proefpersonen, die gebruik hebben 

gemaakt van de auditieve interactie, beide opdrachten correct uitgevoerd. Daarnaast 
waren er 4 proefpersonen die 2 biljetten hebben geprint maar 1 of 2 fouten hebben 
gemaakt. De bediening middels de tactiele knoppen was niet voor iedereen even 
duidelijk. Één proefpersoon herkende de 'partijen' niet door de onbekende lijstnamen 
en zocht op de verkeerde plek naar de kandidaat. 
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2 / 


In de groep B2 Slechtzienden hebben 24 van de 31 proefpersonen beide opdrachten 
correct uitgevoerd. Echter, de meesten van hen (22) zijn ook in staat het papieren 
huidige stembiljet correct in te vullen, alhoewel een aantal (3) met moeite. 

Door enkele proefpersonen in deze groep is gesteld dat ze de simulatie van de 
stemprinter niet (goed) kunnen zien, reden om aan te nemen dat een deel van de groep 
daardoor niet of met moeite met het aangeboden scherm overweg kunnen. In 2 
situaties hebben proefpersonen gebruik gemaakt van auditieve ondersteuning. In één 
geval succesvol en het andere geval niet. 

De 7 proefpersonen in deze groep die niet in staat waren om beide opdrachten correct 
uit te voeren, zouden mogelijk gebaat kunnen zijn met het gebruik van de auditieve 
interactie die de blinde proefpersonen hebben gebruikt. 

3/ In de groep B3 Laaggeletterden zijn minder proefpersonen (15) in staat om beide 

opdrachten met de simulatie stemprinter correct uit te voeren, dan het correct kunnen 
invullen (21) van het huidige stembiljet. Daarbij blijken bijna allen die goed met de 
stemprinter kunnen omgaan, ook het huidige stembiljet correct te hebben ingevuld. In 
deze groep gaven 22 van de 32 proefpersonen aan de logo's of de foto's gebruikt te 
hebben om een keuze te maken. 

Deze groep laaggeletterden lijkt vooral moeite te hebben met het vinden van het 
tweede of derde tabblad. Ook stopt een groot deel na het printen van één stembiljet, zij 
drukken niet op 'klaar met controleren'. Een aantal proefpersonen heeft de opdracht 
niet begrepen. Deze proefpersonen dachten dat ze maar 1 stembiljet hoefden te 
printen. Drie proefpersonen zeggen niet om te kunnen gaan met computers en komen 
hoogstens tot het lijstenoverzicht. Twee proefpersonen hebben zelfs niet op start 
gedrukt, dit zijn proefpersonen die aangeven niet met computers overweg te kunnen. 

4/ Groep B4 Licht verstandelijk gehandicapten vertoont een achteruitgang bij het gebruik 
van de stemprinter (14) ten opzichte van het huidige stembiljet (17). Er is weer een 
relatie tussen het al dan niet kunnen omgaan met de simulatie stemprinter en het al dan 
niet kunnen omgaan met het papieren stembiljet. In deze groep gaven 26 van de 34 
proefpersonen aan de logo's of de foto's gebruikt te hebben om een keuze te maken. 
Van deze groep licht verstandelijk gehandicapten lijken een aantal proefpersonen 
moeite te hebben om het derde tabblad te vinden, maar zij slagen er wel in om de 
opdrachten correct uit te voeren. Zij lijken de simulatie wel te begrijpen. 


7.4 Evaluatie van de interacties 


Het ministerie van BZK wil de uitkomsten van dit onderzoek kunnen benutten, indien het kabinet 
zou besluiten tot de invoering van de stemprinter, om de eisen voor de stemprinter te 
specificeren. Uit de uitkomst van de test blijkt dat er ruimte is voor verbetering van het ontwerp. 
De volgende evaluatie geeft aan op welke punten verbetering van de ontwikkelde interacties van 
de stemprinter (en daarmee de specificaties) mogelijk kan leiden tot een nog toegankelijker 
stemprinter. 
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Interactie 1: Grafisch aanraakscherm 

Het grafische aanraakscherm is gebruikt door de groep 'huidige kiezers', slechtzienden, 
laaggeletterden en licht verstandelijk gehandicapten. 




Aanraakgevoelig scherm 

Het aanraakgevoelige scherm bleek voor bijna iedereen te werken. Een enkeling maakte een 
opmerking dat het scherm niet of niet goed reageerde. Een oplossing zou gezocht kunnen 
worden in aanraakscherm dat gebruik maakt van een andere technologie of een pen met een 
geleidende rubber punt. 

Keuzeproces: grafisch scherm 

In de grafische interface zijn 2 punten aan te wijzen waar onduidelijkheid over bestond: 

1. Het verkiezingenoverzicht. Na 1 of 2 stembiljetten geprint te hebben drukten een aantal 
personen op 'Stoppen' of liepen weg terwijl zij in het verkiezingenscherm waren, zij 
dachten dat ze "zoals altijd" maar 1 stembiljet hoefden te printen. De interface zou op 
dit punt meer nadruk moeten krijgen op de openstaande verkiezingen. 

2. Het scherm 'stembiljet controleren'. In een kwart van de gevallen werd bij de derde 
verkiezing de knop 'Klaar met controleren' niet gebruikt. Bij de groepen B3 en B4 was dit 
één van de punten waarop de deelnemers de test afbraken. Uit de gegeven 
commentaren bleek dat men niet altijd goed wist wat er precies gecontroleerd moet 
worden. De interface zou hier meer sturend in kunnen zijn. Animaties kunnen worden 
toegevoegd om te wijzen naar de printer en meer uitleg op het scherm. 

Tabbladen in het kandidatenscherm 

Bij groep A bleek een enkeling moeite te hebben met het vinden een van een kandidaat op een 
tweede of derde tabblad. Vooral proefpersonen die zeggen minder of geen computer ervaring te 
hebben bleken hier moeite mee te hebben. Wellicht zou dit scherm verder geoptimaliseerd 
kunnen worden of er zou gezocht kunnen worden naar alternatieve oplossingen om van 
kandidatenscherm te wisselen. 

Gebruik van logo's en foto's 

In de grafische interface zijn logo's gebruikt bij de partijen en foto's bij de kandidaten. Dit zorgt 
voor een dubbele aanduiding die voor iedereen een toegevoegde waarde kan hebben, maar met 
name voor diegenen die moeite hebben met lezen. De meerderheid van de laaggeletterden en 
licht verstandelijk gehandicapten geven in deze test aan deze afbeeldingen gebruikt te hebben bij 
het maken van hun keuze. 

Interactie 2: Auditieve ondersteuning 

De auditieve ondersteuning is 2 keer gebruikt door deelnemers uit de slechtzienden groep. 

Beiden bleken echter te slechtziend om de stembiljetten te controleren. De vraag rijst of deze 
interactie voor slechtzienden een nuttige aanvulling is voor het grafische scherm. De groep zeer 
slechtzienden heeft mogelijk meer baat bij het gebruik van de auditieve interactie die getest is 
door blinde proefpersonen. 

Interactie 3: Tactiele knoppen 

Deze interactie bestaat uit de grafische interface die bediend wordt door middel van tactiele 
knoppen. Deze manier van bedienen is niet gebruikt in de test. 

Interactie 4: Auditieve interactie 

Deze interactie is door 30 blinden gebruikt. Gezien de resultaten kon het merendeel overweg 
met deze interactie. Er zijn nog wel 3 punten van aandacht: 

1. Een deel van de deelnemers begon bij het navigeren met de pijl knop naar boven waar 
dit naar beneden moest zijn. Zij corrigeerden zichzelf of doorliepen de lijsten in 
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omgekeerde volgorde. De werking van de pijl knoppen zou uitvoeriger toegelicht 
kunnen worden. 

2. De terug knop werd door enkelen ook herkend als een pijl knop. Deze vorm zou meer 
onderscheidend kunnen worden. 

Een aantal deelnemers gaf suggesties ten aanzien van het keuzeproces. Zij wilden per 
keuze terugkoppeling waar ze precies in het proces zitten en hoeveel stappen ze nog 
moeten doen. 


7.5 Discussie en aanbevelingen 

1. Volgorde bij meervoudige verkiezingen 

Een uitgangspunt bij de ontwikkeling van de interacties is dat in geval van een meervoudige 
verkiezing de kiezer zelf moet kunnen bepalen in welke volgorde de een keuze wordt gemaakt 
voor de verkiezingen. De TUD plaatst vraagtekens bij het nut van dit uitgangspunt. Wat is de 
toegevoegde waarde van deze keuzevrijheid? Diverse proefpersonen, zowel in de uiteindelijke 
test als in eerdere evaluatietesten, hadden hier moeite mee of liepen er zelfs op vast. Een lineair 
proces, waarbij de verkiezingen in een vooraf vastgestelde volgorde doorlopen worden, lijkt een 
eenvoudiger alternatief. Dit sluit aan bij een vergelijkend onderzoek tussen deze twee 
alternatieven 18 waaruit blijkt dat er minder fouten gemaakt worden in een lineair proces en dat 
de kiezers hier een voorkeur voor hebben. Bijkomend voordeel is dat dit bovendien sneller gaat. 

Vanuit het oogpunt van toegankelijkheid verdient het daarom aanbeveling een vooraf 
vastgesteld lineair proces, als alternatief voor een proces waarin de kiezer zelf de volgorde van 
de verkiezingen kan bepalen, serieus in overweging te nemen. De TUD onderkent evenwel dat op 
dit punt er een afhankelijkheid bestaat van de wijze waarop de kiezer de stemprinter zal 
activeren. Derhalve zal dit punt onderzocht moeten worden in samenhang met het 
activeringsvraagstuk. 


2. Alternatieve testopzet 

In de uitgevoerde test is gebruik gemaakt van fictieve lijsten (+logo's) en kandidaten (+foto's). De 
test werd afgenomen op een moment dat er geen verkiezingen waren en vond niet plaats in een 
stemlokaal. Daarenboven kregen de proefpersonen een opdracht. 

Naast de instructie direct vooraf aan de test hebben de proefpersonen geen voorlichting 
gekregen over het veranderde stemproces en konden vooraf niet oefenen met de nieuwe 
interacties. Om een eerste beeld te krijgen van de toegankelijkheid bij het gebruik van een 
stemprinter is dit een goed testkader. 

Om met een grotere betrouwbaarheid en nauwkeurigheid vast te kunnen stellen of kiezers 
zelfstandig een stem kunnen uitbrengen op een simulatie van een stemprinter zou een volgende 
test, met een grotere steekproefgrootte, plaats moeten vinden met echte lijsten en kandidaten. 
Bij voorkeur wordt zo'n test dan ook georganiseerd in of in de nabijheid van een stemlokaal waar 
ook gestemd wordt. Belangrijk punt hierbij is dat voorafgaand aan een dergelijke test 
voorlichting wordt gegeven aan kiezers die aan de test kunnen meedoen. De voorlichting zou 
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bijvoorkeur een vorm moeten hebben die het mogelijk maakt om te oefenen. Hierbij past wel de 
kanttekening dat de ervaring leert dat maar (een gering) deel van de mensen 
voorlichtingsmateriaal leest cq daarvan gebruik maakt. 


3. Gebruik van het woord 'lijsten' 

Gedurende de evaluatie testen die uitgevoerd zijn tijdens de ontwikkeling van de interacties met 
enkele tientallen vertegenwoordigers uit de verschillende doelgroepen was een terugkerende 
opmerking dat het gebruik van het begrip "lijst" bij het gefaseerd stemmen niet duidelijk is. Bij 
het woord 'lijsten' denken mensen aan de kandidatenlijsten (wat het in feite ook zijn). De 
kandidaten staan echter in het volgende kandidatenscherm. Het overzicht met lijsten zien 
mensen als een overzicht van partijen: met partij logo's, geen lijst logo's. Opgemerkt dient te 
worden dat in de testen met de proefopstelling deze opmerking door niemand gemaakt is. Er is 
echter, anders dan in de evaluatie testen, in de test ook niet expliciet gevraagd of de 
proefpersonen opmerkingen wilden maken over dit soort aspecten. Op basis van de 
opmerkingen die zijn gemaakt tijdens de ontwikkeling van de interactie adviseert TUD in de 
interacties het woord 'partij' te gebruiken in plaats van 'lijst'. 


4. Toetsing huidige stembiljet 

Om te bepalen of kiezers in staat zijn het huidige stembiljet juist in te vullen is een toetsing 
gedaan met het huidige stembiljet met fictieve lijsten en kandidaten. In groep A bleek 2,5% van 
de proefpersonen niet in staat om 1 biljet correct in te vullen. 

Aanname is geweest dat als proefpersonen 1 biljet correct in kunnen vullen, zij ook bij 
meervoudige verkiezingen of volmacht alle biljetten correct in kunnen vullen. De vraag is of deze 
aanname correct is. In geval van het invullen van meerdere stembiljetten zou het kunnen 
voorkomen dat ook meer biljetten niet juist ingevuld worden. Zoals ook blijkt uit de testen met 
de simulatie van de stemprinter. Dit geldt in principe ook voor groep B. 

Zou het ministerie van BZK verdere testen gaan uitvoeren, met zowel groep A als B, dan wordt 
aanbevolen om een vergelijkende test in plaats van een toetsende test uit te voeren. In een 
vergelijkende test wordt de simulatie stemprinter vergeleken met een zelfde aantal en type 
papieren stembiljetten. Ook vindt de test van stemprinter en papieren stembiljet op een zelfde 
manier plaats in een stemhokje. 


5. Auditieve ondersteuning 

De auditieve ondersteuning is met name ontwikkeld voor de groepen laaggeletterden, licht 
verstandelijk gehandicapten en een deel van de slechtzienden. In de testopzet was voorzien dat 
proefpersonen uit deze groepen die in eerste instantie niet in staat zouden zijn om het grafisch 
aanraakscherm te bedienen vervolgens dit nogmaals zouden proberen met auditieve 
ondersteuning. Ondanks het feit dat er 15 van de 32 laaggeletterden en 14 van de 34 licht 
verstandelijk gehandicapten niet alle opdrachten goed uitvoeren is dit geen enkele keer gebeurd. 
In het algemeen wilden deze proefpersonen na een mislukte eerste poging de simulatie van de 
stemprinter niet nogmaals proberen. 

Voor een deel van de groep (zeer) slechtzienden die niet overweg kon met het aanraakscherm, 
bleek de auditieve ondersteuning niet zinvol te zijn. Zij zouden mogelijk meer gebaat zijn met de 
auditieve interactie. 
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Om te bepalen of de auditieve ondersteuning waarde heeft voor de doelgroepen laaggeletterden 
en licht verstandelijk gehandicapten is het noodzakelijk om dit specifiek te testen met deze 
groepen. 


6. Interactie met tactiele koppen 

De interactie met tactiele knoppen is ontwikkeld voor mensen met motorische beperkingen die 
moeite hebben om hun vinger goed te positioneren op het aanraakscherm of niet ver genoeg 
kunnen reiken. Deze interactie is nog niet getest. 

Om te bepalen of interactie met tactiele knoppen waarde heeft voor mensen met motorische 
beperkingen is het noodzakelijk alsnog om dit specifiek te testen met deze groep. 


7.6 Beantwoording van de onderzoeksvragen 


Het doel van dit onderzoek is na te gaan of de aanname(s) van de commissie Van Beek juist is dat 
het stemmen door gebruik te maken van een stemprinter toegankelijker wordt voor de kiezers. 

In het bijzonder voor kiezers met een beperking waarvoor het met de stemprinter mogelijk zou 
kunnen zijn om zelfstandig te stemmen. 

Op basis van voorgaande conclusies ten aanzien van de testresultaten van de simulatie van de 
stemprinter, de evaluatie van de interacties en de discussie en aanbevelingen, kunnen de 
geformuleerde onderzoeksvragen worden beantwoord: 


1 Is de voorgestelde stemmethode met gebruikmaking van een stemprinter toegankelijker 
voor mensen met een beperking; c.q. zijn meer kiesgerechtigden in staat om zelfstandig 
te stemmen. 

De voorgestelde stemmethode is, met gebruikmaking van de voor dit onderzoek ontwikkelde 
simulatie van een stemprinter, toegankelijker voor blinden en slechtzienden. Dit geldt niet voor 
laaggeletterden en licht verstandelijk gehandicapten. Voor mensen met een motorische 
beperking kunnen er in dit onderzoek geen uitspraken worden gedaan, aangezien er geen test 
heeft plaatsgevonden met proefpersonen van deze categorie. 


2 Is de voorgestelde stemmethode met gebruikmaking van een stemprinter toegankelijk 
voor de huidige kiezer. 

De voorgestelde stemmethode is, met gebruikmaking van de voor dit onderzoek ontwikkelde 
simulatie van een stemprinter, toegankelijk voor de overgrote meerderheid van de huidige 
kiezers. Echter bij ouderen is dat beeld anders. Vanaf 71 jaar kunnen minder personen dan 
gemiddeld overweg met de simulatie van de stemprinter. En dat beeld verslechtert naarmate de 
leeftijd stijgt. 
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Bijlagen 



Bijlage 1 

Uitsnede van het kandidatenoverzicht met 20 kandidaten, op ware grootte. 



Lijst 2 



Planten voor het Vo 


1 

Roos 

Gerard, G. (m) 

Beverwijk 

P 

2 

van Chrysant 

Flerman, C.J. (m) 

Brussel (B) 

tiA 



Tulp 

Gerard, G. (v) 



Rrprl^ 


r 


kand 

1 t/i 





Dopheid* 

Annet, A.M. 


Vlijtig Lif 

Jan, J.G. (m) 


Anjer 

Felicia, F. (v) 
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Uitsnede van het kandidatenoverzicht met 80 kandidaten, op ware grootte. 



st 2 I Planten voor het Volk 

Gecombineerd met lijst 6 
den Aronskelk 


Roos 

Gerard, G. (m) 


Beverwijk 


Thea. T.H.K.L (v) 


's-Gravenhage 



Roos 

■v 

Gerard, G. (m) 

Beverwijk 


van Chrysant 

Herman, C.J. (m) 


Brussel (B) 


Barones van Rub- 
bervan de Boom 

Wendela, A.A.W.. (v) 

Zoetermeer 


Roos 

Gerard, G. (m) 


Tulp 

Viola, V. (v) 


Breda 


Lelie 


Sander, S.A. (m) 


's-Gravenhage 


Conifeer 

Hans, H. (m) 


Schiedam 


Roos 

Voornaam, C.F. (m) 


Beverwijk 


Roos 

Gerard, G. (m) 


Beverwijk 



Roos 


Orchidee 


Leen, L.N. (m) 

Noordwijk 

Iris 


Naomi. N. (v) 

Drachten 

Guldenroede 

Zeger, Z.G.L. (m) 

Amsterdam 

-- 

Fuchsia 

— 

Willem, W.K.L.H.. (m) 

Amsterdam 

Roos 


Gerard. G. (m) 

Beverwijk 

Hertshooi 



Roos 

Gerard, G. (m) 



Roos 

Gerard, G. (m) 



Roos 

Gerard, G. (m) 



Roos 

Gerard, G. (m) 



Roos 

Gerard, G. (m) 


Roos 


Beverwijk 


Beverwijk 


Beverwijk 


Beverwijk 


Beverwijk 


Beverwijk 
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Uitsnede van het huidige stembiljet, op ware grootte. 


□ van de leden van de raad van de gemeen! 


5 

Europese 

Dierenalliantie 


8 

Kruidig 


7 


Lijst Smaak 


8 

Planetenpartij 


9 

Partij Proza en 
Poëzie 


□ 

de Olifant, 1 

K.L. (Klaas) (m) 

Amsterdam 

□ 

Orka, 2 

W. (Wiadimir) (m) 

Amsterdam 

□ 

Tijger, 3 

L.R. (Lilly) (v) 

Soesterberq 

□ 

Leguaan, 4 

E. (Ekhard) (m) 

's-Gravenhaqe 

□ 

van der Egel, 5 

E.G. (Eef) (v) 

Heiloo 

□ 

van den 6 

Stokstaartje, 

J.D.G.R. (Jaques) (m) 
Brussel (BE) 

□ 

Jachtluipaard, 7 

O.P.D. (Lennard) (m) 

' Venlo 

□ 

Gazelle, 8 

M. (Maartje) (v) 

Wiik en Aalburq 

□ 

IJs-Beer, 9 

B.V. (Johanna) (v) 

Brlelle 

□ 

Zebra, 10 

Z.A. (Sara) (v) 

Lemmer 

□ 

Konijn, 11 

B. (Bas) (m) 

's-Gravenhaqe 

□ 

Koala, 12 

C.O.P. (Cornelis) (m) 
Ede 

□ 

Leeuw, 13 

W.P. (Wil) (m) 

Edam 

o 

Walvis, 14 

U. (Viotor) (m) 

Rotterdam 

c 

Aardvarken, 15 

L.J.K.M. (Laura) (v) 

Amsterdam 

o 

Hond, 16 

R. (Ruud) (m) 

Huizen 

n 

van Muis, 17 

E.E. (Ewoud) (m) 

Apeldoorn 

□ 

Koala, 18 

A.Y. (Ans) (v) 

Wageningen 

□ 

Kikker, 19 

W.N. (Wibaut) (m) 

Heemstede 

□ 

Edel-Hert, 20 

G.J. (Geert) (v) 

Oosterbeek 

□ 

Paard, 21 

C. (Cor) (m) 


□ 

Mieriks- 1 

van Wortel, 

C. (Celine) (v) 

Arnhem 

□ 

Rozemarijn, 2 

T.L. (Theo) (m) 

Amsterdam 

□ 

Basilicum, 3 

E.T. (Elian) (v) 

Utrecht 

n 

de Marjolein, 4 

H.A. (Hilde) (v) 
Drieberqen-Riisenburq 

o 

da Salie, 5 

P.L. (Pauline) (v) 

Lisse 

□ 

Oregano, 6 

A. (Aart) (m) 

Tiel 

□ 

Dille, 7 

A.S.M. (Arnold) (m) 

Vlaardinqen 

□ 

Bonekruid, 8 

V. (Victór) (m) 

Leiden 


Laurier, 9 

R.P. (Ruud) (m) 

Den Helder 

□ 

van der 10 

Vlierbessen, 

S. (Sonja) (v) 

Groninqen 

□ 

Tijm, 11 

S. (Sanderijn) (v) 

Duiven 

□ 

Selderij, 12 

H.P. (Harke) (m) 

Bunnik 

□ 

Citroen- 13 

Melisse, 

G. (Gea) (v) 

's-Gravenhage 

□ 

Peterselie, 14 

K.J. (Klaas) (m) 

Amsterdam 

□ 

Koriander, 15 

K. (Koen) (m) 

Volendam 

n 

Bies-Look, 16 

F.I.D. (Flora) (v) 

Leeuwarden 


□ 

Knittelvers, 1 

S.L. (Samuel) (m) 

Amsterdam 

□ 

Page, 2 

K. (Jeanclaude) (m) 

Bunschoten 

□ 

Exlibris, 3 

A.H.G. (Agatha) (v) 

Haarlem 

□ 

Page, 4 

G.W.A. (Geoffrey) (m) 
Wormerveer 

□ 

Rime, 5 

P.O. (Jaques) (m) 

Brussel (BE) 

□ 

van Novelle, 6 

P.P. (Parwin) (m) 

Biddinqhuizen 

□ 

Literatuur. 7 

R.L.K.H. (Hendrika) (v) 
Almere Buiten 

□ 

van het 8 

Metrum, 

D. (Dora) (v) 

Swlfterbant 

Q 

van Anapest, 9 

A.S, (Salome) (v) 

Drenten 


Boekenwurm, 10 

L.J.H. (Lodewljck) (m) 
Bodeqraven 

□ 

Dactylus, 11 

D. (Alexander) (m) 

Amsterdam 

□ 

Jambe, 12 

W.N. (Nikolaos) (m) 

Uitqeest 

□ 

Ecrivain, 13 

L.M.A. (Louise) (v) 

Bloemendaal 


□ 

Pittig, 1 

M. (Maria) (v) 

Aerdenhout 

□ 

Zoet, 2 

J.H.I. (Jan) (m) 

Zeist 

□ 

de Zout, 3 

B.N.V.D. (Bastlaan) 

(m) 

Amsterdam 

□ 

Flauw, 4 

S. (Simone) (v) 

Brussel (BE) 

□ 

van der Zuur, 5 

F.J. (Frits) (m) 

Rotterdam 

□ 

Ie Demi-Sec, 6 

T.P. (Louise) (v) 

Parijs (FR) 

|p”l Bitter, 7 

LJ R.A. (Ralph) (m) 

Zuidlaren 


□ 

van 1 

Manenschijn, 

W.M. (Willem) (m) 

Doetinchem 

□ 

Astroide, 2 

N. (Nathalie) (v) ' 

Heemskerk 

□ 

Cluster, 3 

J.W.H. (Jan) (m) 

Amsterdam 

□ 

van der Ster, 4 

W.Q;M. (Vladimir) (m) 
Meppel 

□ 

Lichtjaar, 5 

K.K. (Kasper) (m) 

Heemskerk 

□ 

Zwart-Gadt, 6 

M.A.A. (Vanessa) (v) 
Brussel (BE) 

n 

Meet, 7 

P.C. (Co)(m) 

's-Gravenhaqe 


Venus, 8 

J.M. (Marina) (v) 

Warmerhuizen 

BteiSS 

van Sterren tot 9 
Stof, 

C.H.C.W. (Cornella) 

(v) 

Kampen 

O 

de Krater, 10 

H. (Henkjan) (m) 

Amsterdam 

D 

Sterrenbeeld, 11 

J.M.N. (Jantien) (v) 

Steenwiik 

D 

Ruimtegruis, 12 

S. (Simon) (m) 1 

Brussel (BE) 

□ 

Zwaartekracht, 13 

M.O.O. (Mina) (v) 

Den Helder 


□ 

□ 

O 

□ 


□ 

□ 


o 

□ 

□ 



□ 

□ 

ö 

□ 

□ 

□ 

n 
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Bijlage 2 

Audio ondersteuning, alle fragmenten. 


Nummer 

Schermnaam 

Nummer 

Tekst na het indrukken van een knop. 

Interval 


Start 

0.1 

Welkom. Druk op start om te beginnen 

10 sec. 

1.1 

Verkiezingen 

1.11 

Selecteer een verkiezing door een van de 
knoppen aan te raken. 

10 sec. 

1.101 

U bent teruggegaan naar het 
verkiezingenoverzicht. 




2.11 

U heeft Verkiezing voor de gemeenteraad 
geselecteerd. 


2.1 

Lijsten 

2.13 

Selecteer een lijst. 

10 sec. 



2.101 

U bent teruggegaan naar het lijstenoverzicht. 




2.211 

U heeft lijst 




2.212 

geselecteerd 




2.213 

Deze lijst is gecombineerd met lijst 5 


2.2 

Kandidaten 

2.214 

Deze lijst is gecombineerd met lijst 3 




2.22 

Kies een kandidaat. 

10 sec. 



2.23 

U kunt meer kandidaten zichtbaar maken door op een 
van de knoppen boven de kandidaten te drukken. 




2.201 

U bent teruggegaan naar het kandidatenoverzicht. 




2.311 

Uw keuze: lijst 


2.3 

Kandidaat 

bevestigen 

2.312 

kandidaat 




2.32 

Bent u het eens met deze keuze? Druk dan op keuze 
bevestigen. Wilt u toch een andere keuze maken? 

Druk dan op de terug-knop. 

10 sec. 

2.4 

Printen 

2.41 

Het stembiljet met uw keuze wordt geprint. 


1.2 

Verkiezingen 

1.21 

U heeft een stembiljet geprint. Selecteer een 
volgende verkiezing. Als u geen keuzes meer wilt 
maken, druk dan op stoppen. 


herhaling 

1.101 

U bent teruggegaan naar het verkiezingenoverzicht. 


3.1 

Referendumvr 

aag 

3.11 

U heeft Referendum geselecteerd. De 
referendumtekst wordt nu voorgelezen: Bent u voor of 
tegen de wet voor het bouwen van nieuwe kantoren 
naast het stadhuis? Maak een keuze 

10 sec. 


3.101 

U bent teruggegaan naar het referendum. Bent u voor 
of tegen de wet voor het bouwen van nieuwe 
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kantoren naast het stadhuis? Maak een keuze 




3.21 

U heeft ‘Voor’ geselecteerd. 


3.2 

Referendum 

3.22 

U heeft 'Tegen' geselecteerd. 


bevestigen 

3.23 

U heeft 'Blanco' geselecteerd. 




3.24 

Bent u het eens met deze keuze? Druk dan op 'keuze 
bevestigen'. Wilt u toch een andere keuze maken? 

Druk dan op de terug-knop. 

10 sec. 

3.3 

Printen 

herhaling 

2.41 

Het stembiljet met uw keuze wordt geprint. 




1.32 

U kunt nu de koptelefoon afzetten. 

10 sec. 



1.33 

U heeft geen stembiljetten geprint. U heeft voor 2 
verkiezingen nog geen keuzes gemaakt. Druk op 
terug om wel keuzes te maken. 




1.34 

U heeft geen stembiljetten geprint. U heeft voor 3 
verkiezingen nog geen keuzes gemaakt. Druk op 
terug om wel keuzes te maken. 




1.35 

U heeft 1 stembiljet geprint. U heeft voor 1 verkiezing 
nog geen keuze gemaakt. Wilt u toch nog een keuze 
maken? Druk dan op terug. Bent u klaar? Geef dan 
het stembiljet af. 




1.36 

U heeft 1 stembiljet geprint. U heeft voor 2 
verkiezingen nog geen keuze gemaakt. Wilt u toch 
nog keuzes maken? Druk dan op terug. Bent u klaar? 
Geef dan het stembiljet af. 




1.37 

U heeft 2 stembiljetten geprint. U heeft voor 1 
verkiezing nog geen keuze gemaakt. Wilt u toch nog 
een keuze maken? Druk dan op terug. Bent u klaar? 
Geef dan de stembiljetten af. 




1.38 

U heeft 2 stembiljetten geprint. Geef de stembiljetten 
af. 




1.39 

U heeft 3 stembiljetten geprint. Geef de stembiljetten 
af. 
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Bijlage 3 

Tactiele knoppen, op ware grootte 
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Afmetingen en onderlinge afstanden van de tactiele knoppen 






36mm 
























Bijlage 4 

Audio interactie 


Schermnaam 

Nummer 

Tekst 

Tekst na het indrukken van de 
ronde knop. 

Tekst na het indrukken 
van de pijl knoppen 

Tekst na het indrukken van de 
terug knop 

opmerkingen 

Introductie 

0.11 

Welkom bij de verkiezingen. 

Om te starten, druk op de ronde 
knop. 




interval 10 sec. 

instructie 

0.21 


Met dit apparaat kunt u een 
stembiljet printen met de door u 
gemaakte keuzes. Gebruik de 
twee driehoekige knoppen om 
door de keuzen te lopen. 

Met de ronde knop maakt u een 
keuze. 

Met de pijl-knop linksboven gaat u 
terug naar het voorgaande menu. 
Dit wordt de terug-knop genoemd. 




verkiezingen¬ 

overzicht 

1.11 

U kunt 2 verkiezingen selecteren. 
Als u niet verder wilt gaan, kunt u 
ook stoppen. 






1.101 




U bent teruggegaan naar het 
verkiezingenoverzicht. 

[aansluitend: AM .11 of AM.111] 



1.111 

U kunt 1 verkiezing selecteren. 

Als u niet verder wilt gaan, kunt u 
ook stoppen. 






1.12 

Gebruik de driehoekige knoppen 
om door de keuzen te lopen en 
maak een keuze met de ronde 
knop. 




interval 10 sec. 


1.13 



Verkiezing van de gemeenteraad. 




1.15 



Referendum over nieuwe 
kantoren. 




1.16 



Stoppen 



Lijsten 

2.11 


U heeft verkiezing van de 
gemeenteraad geselecteerd. U 
kunt nu kiezen uit 21 lijsten of 
blanco. 





2.101 




U bent teruggegaan naar het 
lijstenoverzicht van de Verkiezing 
van de gemeenteraad. U kunt nu 
kiezen uit 21 lijsten of blanco. 









2.11a 

Gebruik de driehoekige knoppen 
om de lijst te zoeken waarop u 
wilt stemmen. Heeft u de lijst 
gevonden die u zocht? Druk dan 
op de ronde knop om uw keuze te 
maken. Wilt u terug naar het 
verkiezingenoverzicht? Druk dan 
op de terug-knop. 


Kandidaten 

2.201 



2.211 


U heeft Lijst... 

2.212 

... geselecteerd 


2.213 

Deze lijst is gecombineerd met 
lijst 6 


2.214 

Deze lijst is gecombineerd met 
lijst 2 


2.221 

U kunt nu kiezen uit... 


2.222 



2.223 

... kandidaten 


2.21a 

Gebruik de driehoekige knoppen 
om door de kandidaten te lopen 
en maak een keuze met de ronde 
knop. 

Om terug te keren naar het 
lijstenoverzicht, druk op de terug¬ 
knop. 


Kandidaat 

bevestigen 

2.310 


Uw keuze: 

2.311 


Lijst... 

2.312 


kandidaat 

2.32 

Bent u het eens met deze keuze 
en wilt u het stembiljet printen? 

Druk dan op de ronde knop. Wilt 
u toch een andere keuze maken? 
Druk dan op de terug-knop 


Printen 

2.41 


Het stembiljet met uw keuze 
wordt geprint. 


2.42 


Het stembiljet zal rechts van de 
knoppen liggen. 





interval 10 sec. 



U bent teruggegaan naar het 
kandidatenoverzicht. 
























kandidaten van lijst 
[lijstnummerjijstnaam] 









interval 10 sec. 
















interval 10 sec. 
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Verkiezingen¬ 

overzicht 

1.21 

Het stembiljet is geprint en ligt in 
de printer. U kunt nog 1 
verkiezing selecteren. Als u al uw 
keuzes heeft gemaakt, selecteer 
dan "Stoppen". 



Herhaling 

2.101 



Referendum 

3.11 


U heeft referendum geselecteerd. 
U hoort nu de tekst van het 
referendum. 

Bent u voor of tegen de wet voor 
het bouwen van nieuwe kantoren 
naast het stadhuis? 

U kunt er ook voor kiezen om 
blanco te selecteren. 


3.12 

Gebruik de driehoekige knoppen 
om door de antwoorden te lopen 
en maak een keuze met de ronde 
knop. 

Wilt u terug naar het 
verkiezingenoverzicht? Druk dan 
op de terug-knop. 



3.101 




3.21 




3.22 




3.23 



Referendum 

bevestigen 

3.31 


U heeft 'Voor' de wet voor het 
bouwen van nieuwe kantoren 
naast het stadhuis geselecteerd. 


3.32 


U heeft 'Tegen' de wet voor het 
bouwen van nieuwe kantoren 
naast het stadhuis geselecteerd. 
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interval 10 sec. 


U bent teruggegaan naar de 
referendumvraag. De 
referendumtekst wordt nu 
voorgelezen: Bent u voor of tegen 
de wet voorhet bouwen van 
nieuwe kantorennaast het 
stadhuis?U kunt er ook voor 
kiezen om blanco te selecteren. 

Voor de wet voor het bouwen van 
nieuwe kantoren naast het 
stadhuis. 

Tegen de wet voor het bouwen 
van nieuwe kantoren naast het 
stadhuis. 

Blanco, ten aanzien van de wet 
voor het bouwen van nieuwe 
kantoren naast het stadhuis. 







3.33 


U heeft 'Blanco', ten aanzien van 
de wet voor het bouwen van 
nieuwe kantoren naast het 
stadhuis geselecteerd. 




3.4 

Wilt u het stembiljet met uw keuze 
printen? Druk dan op de ronde 
toets. 

Wilt u toch een andere keuze 
maken? Druk dan op de terug¬ 
knop. 




interval 10 sec. 

Printen 

3.51 


Het stembiljet met uw keuze 
wordt geprint. 




2.42 

Het stembiljet zal rechts van de 
knoppen liggen. 





Einde 

3.601 

U heeft geen stembiljetten 
geprint. U heeft voor 2 
verkiezingen nog geen keuzes 
gemaakt. Wilt u toch nog keuzes 
maken? Druk dan op de terug¬ 
knop. Bent u klaar? Zet dan de 
koptelefoon af. 




interval 10 sec. 

3.602 

U heeft één stembiljet geprint. U 
heeft voor 1 verkiezing nog geen 
keuze gemaakt.Wilt u toch nog 
een keuze maken? Druk dan op 
de terug-knop. Bent u klaar? 

Neem dan het stembiljet mee en 
geef het af. 




interval 10 sec. 

3.603 

U heeft twee stembiljetten geprint. 
Neem deze mee en geef ze af. 




interval 10 sec. 

3.62 

U kunt nu de koptelefoon 
af zetten. 
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